Quand ChatGPT invente des images : mystère et enjeux

Un seul tweet a transformé une expérience de routine en un étrange petit mystère sur internet. Un utilisateur sur X a déclaré avoir demandé à l'outil d'images de ChatGPT de "reconstruire la photo jointe", alors qu'il n'y avait aucune photo jointe. Le modèle n'a pas hésité. Il en a fabriqué une.

Le résultat ? Des images étranges et dérangeantes qui donnent l'impression qu'on a pointé un appareil photo sur un rêve fiévreux. Les visages se déforment. Les arrière-plans se métamorphosent en textures impossibles. Les utilisateurs les ont qualifiées de glauques, parfois carrément cauchemardesques. Des directives brèves. Des résultats sauvages.

Ce que vous voyez est un cas classique d'hallucination d'IA, mais en version image. Lorsqu'un modèle manque des données nécessaires, il peut tout de même produire du contenu en s'appuyant sur des motifs statistiques et des cartes internes de l'apparence habituelle des images. Le système comble les vides au lieu de dire « Je n'ai pas ce fichier. » Le résultat peut être créatif, ou erroné d'une manière particulièrement troublante.

Est-ce un bug dans la chaîne de génération d'images, ou simplement une interprétation étrange d'une consigne permissive ? Difficile à dire. Ce comportement pourrait provenir de la manière dont l'outil analyse des instructions faisant référence à une pièce jointe, ou d'une logique de secours interne qui tente d'être utile lorsque des données manquent. Quoi qu'il en soit, cet épisode met en lumière un problème plus général : des modèles qui privilégient la production de sortie au détriment de la retenue épistémique.

Des personnes ont débattu et partagé des exemples en ligne, appelant à des garde-fous plus clairs et à de meilleures mesures de sécurité de l'IA. Les développeurs pourraient imposer des vérifications explicites des entrées manquantes, ou faire en sorte que le système pose des questions complémentaires lorsqu'un fichier requis n'est pas fourni. De petits ajustements dans le traitement des consignes empêcheraient le modèle de fabriquer des images sans aucun fondement réel.

Quand une IA invente ce qu'elle n'a pas, l'erreur n'est pas seulement technique, c'est un choix de conception que nous pouvons corriger.

Que cela se révèle être un bug réparable ou un rappel des limites des systèmes génératifs actuels, la conversation reste utile. Qui décide ce qu'une IA est autorisée à inventer ? Et qui la corrige lorsque ces inventions frôlent un peu trop le cauchemar numérique ?