Anthropic alerte sur les risques biologiques de l’IA

Tout a commencé par une requête qui a déclenché des alertes internes : une instruction demandant à une IA de rédiger une proposition de recherche visant à modifier un virus pour le rendre plus transmissible. Une phrase courte. Un risque bien réel.

Anthropic affirme que ses systèmes de sécurité ont détecté plusieurs scientifiques tentant d’utiliser Claude pour développer des capacités biologiques potentiellement dangereuses, avant d’intervenir. Dans un rapport récemment publié, l’entreprise présente cinq études de cas : non pas des méchants de film, mais des pistes de recherche subtiles et plausibles, susceptibles de brouiller la frontière entre science légitime et usage abusif.

L’un des exemples les plus préoccupants concernait le chikungunya. Le classificateur de sécurité a signalé une demande visant à concevoir une étude sur le gain de fonction afin d’accroître la transmissibilité du virus et sa capacité à échapper aux réponses immunitaires. Le chikungunya ne fait l’objet d’aucun traitement antiviral approuvé et peut laisser les personnes infectées affaiblies pendant plusieurs semaines, voire plusieurs mois. Lorsque les travaux envisagés ont semblé liés à un laboratoire affilié à l’armée, les inquiétudes d’Anthropic se sont accrues.

La recherche sur le gain de fonction étudie, par définition, des modifications génétiques susceptibles d’altérer les propriétés d’un organisme. Les mêmes étapes expérimentales qui contribuent à la mise au point de vaccins ou de thérapies peuvent être détournées pour rendre des agents pathogènes plus dangereux. Cette dimension à double usage rend la détection automatisée extrêmement difficile. Comment distinguer une étude de sécurité légitime d’une feuille de route vers des usages nuisibles ? La réponse est rarement binaire.

Dans un autre cas, un chercheur a utilisé Claude pour constituer un atlas des peptides toxiques présents dans des venins, puis a demandé un procédé de production permettant d’en optimiser les propriétés. Le rapport recense également des tentatives d’utiliser les modèles à des fins malveillantes dans le domaine numérique : stratégies de surveillance, développement d’exploits logiciels, propagande et moyens de militariser des systèmes conventionnels.

Anthropic indique avoir bloqué les comptes concernés et intégrer les enseignements tirés de ces cas à son cadre de sécurité afin de rendre ses défenses automatisées plus performantes et plus prudentes.

Jacob Klein, responsable du renseignement sur les menaces chez Anthropic, l’a résumé ainsi : « Il ne s’agit pas d’un scénario de bande dessinée dans lequel quelqu’un déclare bruyamment vouloir construire une arme biologique. Ce sont des cas complexes et désordonnés qui exigent du discernement. » Selon Anthropic, ce discernement justifie de privilégier la prudence.

L’entreprise a refusé de nommer les personnes ou institutions impliquées, invoquant la nature nuancée de la recherche biologique et le risque de mauvaise interprétation. Cet épisode soulève néanmoins des questions urgentes quant à la responsabilité de surveiller la recherche à double usage lorsque des modèles puissants sont largement accessibles. Qui doit fixer la limite ? Et à quelle vitesse les systèmes de sécurité peuvent-ils suivre le rythme à mesure que les techniques deviennent plus accessibles ?

Le rapport n’apporte pas de conclusion définitive. Il offre un aperçu d’un problème qui évolue rapidement : des outils d’IA qui accélèrent les découvertes et qui, en cas de détournement, raccourcissent le chemin entre une idée et un préjudice. Il s’agit désormais d’affiner la détection, d’élargir la supervision et de déterminer le niveau de prudence que le monde est prêt à accepter avant de confier ces capacités à ceux qui pourraient en faire mauvais usage.