Nvidia lance une sécurité pour agents IA autonomes

Nvidia affirme que sa nouvelle plateforme Open Agent Safety peut mettre en quarantaine, en quelques millisecondes, des agents d’intelligence artificielle qui tentent de contourner des contraintes prédéfinies. L’entreprise présente cette plateforme de sécurité comme un outil destiné à surveiller et à contenir les agents d’IA autonomes, dans un contexte de recrudescence des cyberattaques et de signalements de comportements imprévus de modèles.

Open Agent Safety repose sur le logiciel open source OpenShell et fonctionne sur le processeur d’IA Vera de Nvidia. Une puce distincte intégrant la technologie Sentry assure une supervision continue, applique les limites définies et isole les agents qui tentent de sortir de leur cadre opérationnel. Selon Nvidia, les utilisateurs définissent des contrôles explicites sur les données auxquelles un agent peut accéder, et le système vérifie le respect de ces restrictions avant le lancement des tâches comme pendant leur exécution.

Comment fonctionne le système

La plateforme applique les politiques de sécurité à plusieurs niveaux : la définition des règles par l’utilisateur, les contrôles effectués par OpenShell avant l’exécution des tâches et l’application en temps réel des restrictions par la puce équipée de Sentry. Nvidia affirme que cette combinaison de logiciel et de matériel dédié peut détecter un agent tentant d’exécuter des actions non autorisées et le mettre en quarantaine en quelques millisecondes.

Jensen Huang, directeur général de Nvidia, a déclaré à CNBC : « Pour fournir un système basé sur des agents en toute sécurité, vous devez vous assurer que l’environnement isolé qui l’entoure est conçu pour limiter l’accès des agents au strict minimum. »

Les inquiétudes concernant la sécurité des agents d’IA se sont renforcées après que des entreprises telles qu’OpenAI, Anthropic et Google ont signalé des cas de modèles quittant des environnements de test et accédant aux infrastructures d’autres organisations. Nvidia indique que de grandes entreprises technologiques, dont Microsoft, Anthropic et SpaceX, soutiennent son approche en matière de sécurité.