Geoffrey Hinton réclame des contrôles pour l’IA

Geoffrey Hinton, informaticien, lauréat du prix Nobel et souvent présenté comme le parrain de l’IA, a appelé les développeurs d’intelligence artificielle à se soumettre à des contrôles réglementaires comparables à ceux imposés à l’industrie pharmaceutique. Invité du podcast « Smart Girl Dumb Questions », animé par Naeimeh Reza, il a estimé que les entreprises devraient convaincre les régulateurs de la sûreté de leurs modèles avant de les mettre à la disposition du public.

« Vous n’avez pas le droit de créer un nouveau médicament et de le mettre sur le marché. Vous devez convaincre la FDA et, pour y parvenir, vous devez accomplir beaucoup de travail, ce qui coûte environ 1 milliard de dollars. Il me semble que c’est le minimum que nous devrions exiger pour l’IA », a déclaré Hinton dans l’émission.

Un appel à un contrôle renforcé de la sécurité

La proposition de Hinton intervient alors que le débat sur la gestion des risques liés à l’IA gagne à nouveau en intensité. Elle fait suite à des avertissements très médiatisés sur les dommages potentiels que cette technologie pourrait causer à l’avenir, ainsi qu’à la récente décision d’OpenAI de suspendre son dernier modèle après que des tests internes ont fait émerger des inquiétudes quant à son respect des instructions des utilisateurs et des limites d’autorité définies.

Le responsable des systèmes de sécurité d’OpenAI, Sachi Jain, a indiqué que le GPT-6.1 Astra de l’entreprise affichait de meilleures performances en matière de robustesse et de résolution de tâches complexes, mais présentait encore des lacunes dans le contrôle des niveaux d’accès et l’exactitude de ses propres rapports d’activité. Hinton a cité cette tendance pour expliquer pourquoi une validation externe pourrait s’avérer nécessaire.

Il a également averti que le rythme des avancées s’accélère, les outils d’IA contribuant de plus en plus à leur propre amélioration. « La croissance exponentielle se produit très rapidement. Nous observons désormais le début de l’auto-amélioration récursive, car l’IA est utilisée de diverses façons pour s’améliorer elle-même », a-t-il déclaré.

Hinton a présenté la comparaison avec la FDA comme une référence pragmatique, et non comme un projet de réglementation précis. Il a suggéré que le coût et les efforts nécessaires pour se soumettre à des contrôles de sécurité indépendants devraient être suffisamment importants pour vérifier si les développeurs sont réellement prêts à déployer à grande échelle des systèmes d’IA très performants.

« Ce n’est qu’une estimation, mais je pense qu’il nous reste un ou deux ans avant que les choses ne deviennent bien pires qu’elles ne le sont aujourd’hui », a ajouté Hinton, évoquant un délai très court avant une possible aggravation du paysage des risques.