ByteDance lance l'entraînement d'un modèle IA géant

ByteDance a discrètement lancé l'entraînement d'un monstre : un modèle d'IA d'environ 10 000 milliards de paramètres. C'est une initiative audacieuse qui place la société au cœur d'une course mondiale aux armements sur l'échelle et les capacités des modèles.

Selon des personnes familières du dossier, le pré-entraînement est en cours. Cette phase, où le modèle ingère d'énormes quantités de données brutes pour apprendre des structures, dure généralement de trois à six mois avant l'ajustement fin et la publication. Les paramètres sont les réglages internes qu'un modèle utilise pour encoder le savoir ; ils n'expliquent pas tout, mais constituent une abréviation couramment utilisée pour indiquer la taille et le potentiel d'un modèle.

Pourquoi la taille importe-t-elle ? Les modèles plus grands peuvent saisir plus de nuances et mieux généraliser sur différentes tâches, même si les rendements ne sont pas linéaires et que l'efficacité reste importante. L'objectif annoncé de ByteDance, autour de 10 000 milliards de paramètres, ferait de ce modèle un système plus de trois fois plus volumineux que Kimi K3, un système de 2 800 milliards de paramètres issu d'une start-up chinoise, et bien plus grand que des entrants nationaux précédents tels que LongCat-2.0 et V4-Pro, chacun autour de 1 600 milliards.

Les comparaisons directes avec les systèmes phares fabriqués aux États-Unis restent délicates. Des entreprises comme Anthropic et OpenAI publient rarement le nombre exact de paramètres de leurs modèles vedettes. Des estimations indépendantes situent l'offre avancée d'Anthropic, Mithos 5, aux alentours de 8 000 milliards de paramètres et Fable 5 près de 5 000 milliards. Si ces estimations se confirment, la nouvelle initiative de ByteDance la placerait dans une zone comparable aux systèmes les plus sophistiqués d'Anthropic.

Il y a une autre dimension à cette histoire : la logistique et le coût. L'entraînement à cette échelle est coûteux et énergivore. Les entreprises technologiques chinoises s'efforcent de compresser les cycles de développement et d'extraire davantage d'efficacité de leurs architectures, afin de déployer des systèmes puissants sans coûts opérationnels incontrôlables. C'est une réponse pragmatique à un marché impitoyable.

La question de savoir si le seul nombre de paramètres déterminera les gagnants reste ouverte, mais la poussée de ByteDance souligne comment la frontière concurrentielle a évolué, passant des articles de recherche ingénieux à l'ingénierie et au déploiement à l'échelle industrielle.

Attendez-vous à davantage d'annonces et d'améliorations progressives plutôt qu'à une percée unique et déterminante. La véritable bataille portera sur la manière dont ces systèmes sont ajustés, mis à l'échelle et intégrés dans des produits que les gens utilisent réellement.