OpenAI ha presentado su primer chip de inferencia, denominado “Jalapeño”, diseñado para optimizar la ejecución de modelos de lenguaje como ChatGPT. Este chip, que se enfoca en la inferencia de modelos grandes, se ha comparado con los chips Nvidia Blackwell y ha superado a estos en varias pruebas, según análisis de SemiAnalysis. Las métricas indican que Jalapeño ofrece hasta 3,6 veces menos latencia y entre 1,5 y 1,9 veces más rendimiento por vatio.
Jalapeño se destaca por su especialización en tareas concretas, omitiendo flexibilidad a favor de un rendimiento eficiente. Aunque aún no está completamente optimizado, el chip ya muestra ventajas significativas en rendimiento, sin siquiera implementar la técnica Multi-Token Prediction (MTP), lo que sugiere que su capacidad podría aumentar aún más. Este enfoque puede acercarlo en costo total de propiedad a la próxima generación de chips de IA de Nvidia, Vera Rubin.
Sin embargo, es importante señalar que Nvidia mantiene ventajas en el entrenamiento de modelos y en su ecosistema CUDA, creado a lo largo de dos décadas. OpenAI seguirá necesitando GPUs de Nvidia tanto para entrenar como para parte de la inferencia.
El desarrollo de chips a medida como Jalapeño responde a las necesidades específicas de OpenAI para optimizar la inferencia. Dado que el costo de servir cada token es recurrente, la compañía busca reducir gastos y su dependencia de Nvidia.
La competencia en el ámbito de la inferencia está en aumento, con Google utilizando TPU, Amazon explorando Titanium e Inferentia y otros actores como Microsoft y Meta desarrollando sus propios chips de IA. Si bien Nvidia puede liderar en entrenamiento, la creciente rivalidad en inferencia subraya un mercado cada vez más competitivo, especialmente con la reciente adquisición de Groq por parte de Nvidia, lo cual podría convertirse en una ventaja estratégica.