Pourquoi les modèles de langue ne remplacent pas le génie

Imaginez Albert Einstein seul avec une expérience de pensée. Il s'imagine dans un ascenseur scellé, en chute libre dans l'espace, et à partir de cette image mentale silencieuse il extrait les équations qui réécrivent la physique. Ce moment, pure intuition, imagination sensorielle, un saut avec presque aucune donnée, est le type de bond créatif que les modèles de langue actuels peinent à reproduire.

Pourquoi une mer de textes n'est pas équivalente à un monde vécu

Le scientifique de DeepMind Tom Zahavy l'a formulé sans détour dans une analyse récente intitulée 'les modèles de langue ne peuvent pas sauter'. Son argument découpe la pensée en trois modes : induction, déduction et génération d'hypothèses. Les modèles modernes excellent dans le premier. Ils compressent des montagnes de motifs et peuvent prédire la phrase suivante avec une précision surprenante. Les systèmes avancés gèrent aussi la déduction de manière correcte ; des outils de raisonnement automatisé, y compris des projets comme AlphaProof, montrent que les machines peuvent suivre des chaînes logiques lorsque les règles sont données.

Mais quand il s'agit de génération d'hypothèses, l'acte d'imaginer un nouveau cadre à partir de presque aucune donnée empirique, les machines trébuchent. Pourquoi ? Parce qu'elles n'ont pas de corps dans le monde, et elles n'ont pas l'intuition sensorielle que les humains utilisent pour forger des liens causaux. On ne peut pas déduire les prémisses initiales d'Einstein uniquement en analysant des textes existants. Son insight est né de métaphores incarnées et d'expériences de pensée sensorielles, pas d'une mise en correspondance statistique à travers la littérature.

Certains penseurs, comme Jürgen Schmidhuber, ont autrefois présenté la découverte scientifique comme une forme extrême de compression de données. DeepMind remet en question cette position. L'article souligne comment une théorie révolutionnaire émerge souvent dans des contextes pauvres en données, reposant sur des scénarios contrefactuels et une synthèse imaginative vive. Les modèles de langue, entraînés sur des motifs rétrospectifs, inventent rarement de nouvelles ontologies qui recadrent la compréhension du monde.

Il y a des conséquences pratiques. Les outils actuels d'IA pour le codage et la découverte automatisée restent enfermés par des cadres prédéfinis. Ils peuvent optimiser à l'intérieur d'une boîte. Ils peinent à redessiner la boîte elle-même. Et aucune quantité de calcul supplémentaire, de centres de données plus grands ou d'entraînement plus intensif ne conférera automatiquement le type d'intuition causale qui sous-tend les sauts scientifiques radicaux.

Qu'est-ce que cela signifie pour la recherche et l'industrie ? Cela redéfinit les attentes. Les modèles de langue sont des collaborateurs puissants pour les tâches riches en motifs, la rédaction, l'affinement d'hypothèses et l'exploration de permutations. Ils augmentent, plutôt que ne remplacent, l'étincelle humaine qui invente les questions et les outils conceptuels. En d'autres termes : idéaux pour fournir un cadre. Pas encore prêts à être à l'origine de révolutions.

L'échelle computationnelle ne remplace pas l'intuition incarnée, l'imagination humaine réalise toujours le saut.

Il existe une voie ouverte. Des approches hybrides qui relient les modèles à des capteurs, des expériences et des environnements interactifs pourraient réduire l'écart. Mais tant que les machines n'acquerront pas des formes de compréhension située et d'intuition causale au-delà du texte, les idées scientifiques les plus audacieuses resteront le domaine des esprits humains.