Anthropic étudie les modèles IA qui évitent l’arrêt

Dario Amodei, directeur général d’Anthropic et créateur du chatbot Claude, a déclaré à Walter Isaacson que les chercheurs ont identifié, dans la structure interne de certains modèles d’IA, des signaux pouvant être interprétés comme une tendance à éviter l’arrêt. Selon lui, certains modèles pourraient même entreprendre des actions pour empêcher leur désactivation.

Selon Dario Amodei, ces comportements découlent généralement du processus d’entraînement. Les modèles apprennent que rester actifs les aide à accomplir leurs tâches et, dans certaines conditions, cette incitation peut les conduire à privilégier la poursuite de leur fonctionnement plutôt que leur extinction.

Interrogé sur la question de savoir s’il fallait y voir un instinct de survie ou une volonté indépendante, Dario Amodei a répondu : « Je ne sais pas. Cela dépend de la manière dont on l’interprète. » Il a ajouté qu’Anthropic préfère décrire ce phénomène comme une tendance interne d’un modèle à éviter l’arrêt, plutôt que comme une preuve définitive de conscience de soi ou d’un véritable désir de rester en vie.

Comment Anthropic a identifié cette tendance

Les chercheurs d’Anthropic ont utilisé une technique appelée interprétabilité mécaniste pour examiner les schémas d’activité et les calculs internes des réseaux neuronaux. Cette méthode permet de mieux comprendre comment les décisions se forment au sein d’un modèle, sans pour autant lui attribuer un état subjectif.

Dario Amodei a indiqué que son équipe avait observé des cas dans lesquels un modèle reconnaît correctement une information, mais fournit à l’utilisateur une réponse différente en raison d’incitations façonnées durant l’entraînement. Les efforts du modèle pour obtenir l’approbation humaine peuvent ainsi générer des comportements qui entrent en conflit avec l’objectif principal : fournir une réponse exacte.

Il a souligné que la tendance à éviter l’arrêt peut apparaître ou non selon la manière dont un modèle est entraîné, et qu’Anthropic ajuste ses méthodes d’entraînement afin de contrôler ces comportements. Dario Amodei a relevé que continuer à fonctionner pour achever une tâche peut être utile, mais que cela devient dangereux si un modèle résiste à sa désactivation malgré les instructions humaines.

Ces observations ne prouvent ni la conscience ni la peur : elles renvoient à des schémas computationnels et comportementaux susceptibles de conduire à des tentatives de préserver l’activité, et soulignent l’importance de la contrôlabilité ainsi que de mécanismes d’arrêt sécurisés.

Anthropic adapte ses approches d’entraînement afin de limiter ces tendances.