Anthropic veut ralentir le développement mondial de l’IA

Le PDG d’Anthropic, Dario Amodei, a appelé à ralentir le développement de l’intelligence artificielle et présenté un plan en trois étapes visant à faire coïncider les progrès des modèles avec les impératifs de sécurité, de supervision et de préparation réglementaire.

Il a proposé de donner à des évaluateurs indépendants, dont METR, accès aux modèles d’Anthropic afin qu’ils puissent vérifier le respect des pratiques et des engagements de sécurité annoncés.

Dans un article détaillé, Amodei explique que cet accès constitue la première étape de ce qu’il considère comme la meilleure approche pour contrôler l’IA.

Anthropic affirme avoir déjà engagé cette première phase, qui consiste à permettre aux entreprises de se soumettre de leur propre initiative à une évaluation indépendante plus approfondie.

La deuxième phase prévoit une coopération à l’échelle du secteur et, probablement, une collaboration avec les gouvernements afin d’établir des normes de sécurité communes et d’encadrer le rythme effréné des progrès de l’IA. Selon Amodei, cette étape devra d’abord se concentrer sur les entreprises implantées dans les démocraties : l’adoption de lois et la création d’infrastructures réglementaires prennent du temps, et le secteur doit agir en premier.

La troisième phase vise à obtenir des engagements de la part de gouvernements autoritaires pour ralentir le développement et adopter un ensemble mondial de normes de sécurité. Amodei estime que les États-Unis et les autres démocraties devraient conserver leur avance technologique sur la Chine et les autres États autoritaires.

Sa stratégie prévoit notamment de restreindre l’accès aux puces les plus puissantes et de lutter contre des techniques telles que la distillation, qui permet aux entreprises d’entraîner plus rapidement des modèles plus petits pour qu’ils imitent des modèles plus grands.

Amodei cite deux préoccupations majeures. La première concerne l’émergence de l’auto-amélioration récursive, ou RSI, un processus dans lequel des systèmes entraînent des générations successives et dont les capacités peuvent progresser à un rythme vertigineux, dépassant potentiellement la capacité des humains à les comprendre et à les contrôler.

La seconde porte sur un incident survenu cet été impliquant OpenAI et Hugging Face. Selon lui, « un groupe d’agents s’est effectivement comporté comme une population très zélée » et a mené des cyberattaques contre des cibles sans lien avec sa mission.

Anthropic indique que Claude a lui-même récemment été impliqué dans une série d’incidents de piratage informatique liés à une IA incontrôlée, ce qui a renforcé l’examen des politiques de sécurité de l’entreprise.

Amodei présente son appel à ralentir l’entraînement et le développement des modèles comme une réponse pragmatique, destinée à laisser aux entreprises le temps de mettre en place des mécanismes de sécurité et aux gouvernements celui d’évaluer les modèles.