Jalapeno : l'ASIC d'OpenAI pour des IA plus performantes

Cette semaine, une puce compacte est arrivée chez OpenAI et elle a paru être plus qu'un simple matériel. C'était une déclaration. Baptisée Jalapeno, la nouvelle ASIC marque le premier effort interne d'OpenAI dans les puces, conçue en collaboration avec Broadcom pour accélérer l'inférence IA pour la société qui a fait connaître ChatGPT au monde.

OpenAI qualifie ce design de processeur d'intelligence et le décrit comme le premier accélérateur d'une plateforme que l'entreprise assemble pour exécuter des modèles avancés plus rapidement, plus fiablement et à plus grande échelle. Broadcom fabriquera le silicium. OpenAI affirme avoir conçu Jalapeno en environ neuf mois et avoir également développé de larges parties des systèmes de calcul environnants où ces puces fonctionneront.

Pourquoi cela compte pour le calcul IA

Les GPU de Nvidia ont été l'épine dorsale de l'IA moderne. Ils sont flexibles et puissants. Mais ils s'accompagnent de prix élevés et de goulots d'étranglement d'approvisionnement. Les ASICs échangent une partie de la flexibilité contre une meilleure efficacité et des économies de coût. Cela les rend attractifs lorsque la charge de travail peut être fortement optimisée. Jalapeno est le pari d'OpenAI selon lequel du matériel finement calibré peut fournir plus de calcul par watt et aider l'entreprise à étendre l'accès aux modèles avancés.

OpenAI rompt-elle avec Nvidia ? Pas exactement. Il s'agit de diversification, alimentée par une demande qui ne cesse d'accélérer. Plus tôt cette année, OpenAI a conclu des accords pour utiliser les puces Trainium d'Amazon et a signé des partenariats avec AMD et Cerebras. Maintenant, avec Broadcom produisant Jalapeno, OpenAI vise à ajouter une autre voie fiable vers la puissance brute de calcul en construisant des racks de matériel personnalisé qui, à pleine ambition, pourraient nécessiter autour de dix gigawatts d'énergie.

Il y a aussi des jalons pratiques. Un échantillon physique de Jalapeno a été livré mercredi. Les entreprises disent s'attendre à des déploiements initiaux d'ici la fin 2026 et à des déploiements plus larges dans les années qui suivront. Si les calendriers tiennent, nous pourrions assister au début d'un changement important dans la manière dont les grands modèles de langage sont servis en production.

La nouvelle a eu un effet sur Broadcom. Son cours a augmenté d'environ deux pour cent après l'annonce. Le fabricant de puces a été l'un des gagnants du marché de l'IA, avec une hausse d'environ dix pour cent depuis le début de l'année et une multiplication presque par sept depuis la fin 2022, alors que les grands acteurs du cloud et les laboratoires d'IA commandent du silicium personnalisé.

Il existe des compromis. Les ASICs sont moins flexibles que les GPU à usage général, ils fonctionnent donc mieux lorsqu'ils sont associés à une pile logicielle et système précise. L'argument d'OpenAI est qu'en concevant une plus grande partie de cette pile elle-même, elle peut extraire une meilleure efficacité et étendre l'accès à des outils d'IA puissants. En bref : construire le moteur, régler la voiture, et vous pouvez parcourir plus de distance pour moins.

Le véritable test sera la performance sur des charges réelles et la rapidité avec laquelle OpenAI pourra augmenter la production avec Broadcom. Pour l'instant, Jalapeno est un mouvement audacieux vers l'indépendance matérielle et un rappel que la chaîne d'approvisionnement de l'IA évolue des composants standard vers des plateformes personnalisées conçues pour une nouvelle classe de logiciels.