Frozen v2: puce Google pour IA à faible latence et efficace

Imaginez une puce serveur qui ne se contente pas d'exécuter un modèle, mais qui suit subtilement son mode d'emploi. Des ingénieurs chez Google sont en train de construire exactement cela : un accélérateur serveur nommé en interne Frozen v2 qui intègre des éléments de l'architecture Gemini dans le silicium, dans le but d'obtenir une efficacité radicalement supérieure et une latence réduite.

L'information provient d'un reportage de The Information citant deux initiés. Leur affirmation est frappante : Frozen v2 pourrait traiter six à dix fois plus de tokens par watt que les dernières unités de traitement tensoriel de Google. Date visée ? 2028. La motivation est directe et familière à quiconque a vu la demande cloud dépasser la capacité : on rapporte que Google Cloud a dû refuser certaines offres clients en raison d'une saturation du traitement IA.

Intégrer l'architecture plutôt que des règles

Les TPU et GPU traditionnels sont des généralistes. Vous chargez un modèle, et le matériel prend de nombreuses décisions à l'exécution, comme comment déplacer les données, quelles opérations planifier, et quand accéder à la mémoire. Cette flexibilité est puissante. Mais elle engendre des frais généraux. Frozen v2 adopte une approche différente : il fige certaines décisions spécifiques à Gemini dans la logique au niveau des transistors. Le résultat est moins d'étapes d'exécution et moins de données déplacées par requête. Moins de mouvement. Moins de frais. Latence réduite. De nouveaux usages en temps réel deviennent plausibles.

Une idée encore plus audacieuse a même été envisagée. Les premiers designs de Frozen dirigés par Jeff Dean auraient tenté d'intégrer les poids du modèle directement dans le silicium. Ce serait une optimisation radicale. Mais cela deviendrait vite obsolète, les puces liées à une seule version de modèle ayant une durée d'utilité très courte. Google a trouvé un compromis. Frozen v2 intégrerait le squelette de l'architecture tout en maintenant les poids modifiables, de sorte que la même puce puisse servir plusieurs versions de Gemini tant qu'elles respectent les mêmes schémas architecturaux.

Cette approche pourrait réduire suffisamment les temps de réponse pour permettre de nouvelles catégories d'applications d'IA interactives et à faible latence.

Google n'a pas l'intention de remplacer sa flotte de TPU par Frozen v2. Considérez-le comme une voie expérimentale fonctionnant parallèlement à la production de TPU, un terrain d'essai pour du silicium plus spécialisé pendant que les designs de modèles se stabilisent. La feuille de route produit des TPU a elle-même récemment séparé les besoins d'entraînement et d'inférence avec des puces de huitième génération annoncées lors de l'événement Cloud Next en avril. L'effort Frozen v2 est de moindre envergure ; Google ne prévoit pas une production de masse au même niveau que les TPU.

L'arrivée prévue de Frozen v2 s'inscrit également dans d'autres mouvements de l'industrie. Google aurait contracté Intel pour empaqueter plus de trois millions de puces TPU d'ici 2028. Pendant ce temps, des startups et des concurrents explorent déjà le silicium conscient du modèle. La société torontoise Taalas a lancé sa puce HC1 associée à Llama 3.1 8B et affirme atteindre 17 000 tokens par seconde sans HBM sur le package. La startup a levé environ 186 millions d'euros. Et l'année dernière Nvidia a signé un accord de licence technologique avec Groq d'une valeur d'environ 18,6 milliards d'euros, preuve que le marché voit une grande valeur à intégrer le comportement des modèles et le matériel.

Il y a des compromis. Intégrer l'architecture réduit certains types de flexibilité. Cela favorise les cas d'usage où les familles de modèles restent cohérentes dans le temps. Cela modifie aussi le cycle de vie du produit : le silicium conçu autour d'une architecture de modèle doit être justifié par une stabilité de conception prévisible et une échelle de déploiement suffisante. Cela explique la prudence de Google. Frozen v2 est expérimental ; toutes les expériences ne deviennent pas des produits.

Pour l'instant, Google n'a pas confirmé publiquement Frozen v2. Un porte-parole de la société a rappelé à The Information que de nombreux projets internes n'atteignent jamais la production. Néanmoins, l'idée de base, qui consiste à déplacer une partie de la logique du modèle dans le silicium pour économiser de l'énergie et réduire la latence, est passée de curiosité académique à stratégie concurrentielle. Attendez-vous à ce que davantage d'entreprises testent des combinaisons similaires de matériel conscient du modèle et de poids actualisables à mesure que la demande pour une IA efficace et à faible latence continue d'augmenter.