Fiabilité de l'IA : le benchmark FACTS révèle des lacunes

Le nouveau benchmark FACTS de Google DeepMind dresse un tableau inquiétant : l'intelligence artificielle la plus avancée testée continue de se tromper sur environ trois affirmations factuelles sur dix. L'étude met en lumière une réalité importante pour l'écosystème de l'IA : la fluidité rédactionnelle et la rapidité d'exécution ne garantissent pas la véracité des informations délivrées.

Évaluer la vérité : ce que teste FACTS

FACTS évalue les modèles sur quatre tâches exigeantes : répondre à des questions du monde réel à partir des connaissances internes, utiliser la recherche web de manière efficace, citer avec précision des documents longs et interpréter des images. Ces épreuves combinent compréhension sémantique, récupération d'information, raisonnement contextuel et capacités multimodales, ce qui place la barre très haut pour la fiabilité factuelle.

Dans ces évaluations, Gemini 3 Pro arrive en tête du peloton mais n'atteint que 69 % de justesse globale, tandis que d'autres modèles de premier plan accusent un retard significatif. Ce taux signifie que, dans une proportion non négligeable de cas, les réponses restent inexactes, incomplètes ou inventées (« hallucinations »), même lorsque la formulation paraît convaincante et fluide.

Les quatre dimensions examinées

Chaque dimension testée par FACTS cible un point critique pour la véracité :

• Connaissances internes : capacité du modèle à restituer des faits et des relations apprises pendant l'entraînement sans accès externe.
• Usage de la recherche web : aptitude à formuler des requêtes pertinentes, à sélectionner des sources fiables et à synthétiser des informations issues du web.
• Citation de documents longs : précision pour localiser, reprendre et citer des passages pertinents dans des textes volumineux (rapports, contrats, études).
• Interprétation d'images : compétences multimodales pour extraire des faits vérifiables à partir d'éléments visuels (graphiques, photos, schémas) et les intégrer au raisonnement.

Ces quatre axes combinent des enjeux techniques (récupération d'information, intégrité des sources, compréhension du contexte) et opérationnels (traçabilité, auditabilité), essentiels pour des usages professionnels de l'IA.

Méthodologie et métriques

La méthodologie de FACTS repose sur des jeux de questions-réponses construits pour refléter des situations réelles, des scénarios de recherche en ligne, des passages extraits de documents longs et des paires image-texte. Les métriques incluent l'exactitude factuelle (accuracy), la qualité des citations (précision et localisation des extraits), la pertinence des sources web sélectionnées et la robustesse multimodale. En outre, le benchmark prend en compte la calibration de la confiance du modèle, c'est-à-dire la correspondance entre la probabilité estimée et la probabilité réelle d'être correct.

Par exemple, un modèle peut donner une réponse correcte mais surestimer sa confiance, ou au contraire fournir une réponse risquée en affichant une haute certitude. FACTS mesure ces écarts pour aider à évaluer non seulement ce que le modèle sait, mais aussi comment il l'exprime et s'il signale l'incertitude lorsque nécessaire.

Difficultés techniques identifiées

Plusieurs causes expliquent les erreurs factuelles observées dans les modèles testés : biais dans les données d'entraînement, limites des mécanismes de récupération d'information, erreurs d'alignement entre les objectifs d'entraînement et les attentes factuelles, et difficultés à maintenir la cohérence sur de longs documents ou dans des contextes multimodaux. Les hallucinations — générer des faits inexacts mais plausibles — restent un problème central, particulièrement dangereux dans des domaines sensibles comme la finance, la santé ou le droit.

La distinction entre fluidité (capacité à produire un texte naturel) et fidélité factuelle (exactitude du contenu) est essentielle : un texte peut sembler parfaitement rédigé tout en contenant des erreurs factuelles importantes. FACTS met l'accent sur cette séparation, en forçant les modèles à montrer la source de leurs assertions et à localiser précisément les passages cités.

Au-delà des causes techniques, la conception des ensembles de test et la diversité des domaines couverts influencent fortement les résultats. Des domaines spécialisés, avec un vocabulaire technique ou des exigences de preuve élevées, révèlent souvent des performances moindres que des domaines plus généraux.

Pourquoi cela compte pour les entreprises et les utilisateurs

Pour les entreprises qui ont fondé des processus sur l'IA, FACTS sonne comme un avertissement opérationnel. Il ne s'agit pas d'abandonner la technologie, mais de reconnaître ses limites de fiabilité factuelle et d'implémenter des garde-fous solides. Les conséquences d'erreurs factuelles peuvent être lourdes : décisions économiques erronées, diagnostics médicaux incorrects, documents juridiques invalides ou réputation ternie.

Un exemple relayé par la presse décrit le licenciement d'un employé d'un cabinet d'avocats après l'utilisation d'une IA qui avait inséré des citations de jurisprudence fictives dans un projet de note. Ce type d'incident illustre le risque réel lié à une confiance non critique dans des sorties de modèles non vérifiées.

Mesures pratiques recommandées pour les entreprises

Plusieurs mesures concrètes peuvent réduire les risques :

• Révision humaine obligatoire : mise en place d'une étape de validation par des experts pour tout contenu sensible (juridique, médical, financier).
• Sources et traçabilité : exiger que le modèle fournisse des sources vérifiables et des extraits localisables, avec métadonnées et horodatage.
• Validation spécifique aux tâches : adapter et tester les modèles sur des jeux de données propres à chaque domaine avant déploiement.
• Surveillance et audit continu : mise en place de systèmes de monitoring pour détecter les dérives, erreurs répétées ou hallucinations.
• Approches hybrides : coupler modèles de langage et systèmes de recherche ou bases de connaissances structurées (knowledge graphs) pour améliorer la précision factuelle.

Ces mesures aident à transformer les modèles en assistants fiables plutôt qu'en sources d'autorité incontestées. La gouvernance des données, les politiques internes d'utilisation de l'IA et la formation des utilisateurs sont également des éléments clés pour maîtriser les risques.

Aspects techniques avancés pour améliorer la fiabilité

Sur le plan technique, plusieurs axes de recherche et d'ingénierie sont pertinents :

• Retrieval-Augmented Generation (RAG) : intégrer des modules de recherche documentaires qui permettent au modèle d'extraire et de citer des passages exacts depuis des sources fiables au moment de la requête.
• Calibration de la confiance : améliorer la capacité du modèle à estimer correctement son incertitude et à signaler quand il n'est pas sûr.
• Fine-tuning basé sur la véracité : entraîner des modèles supplémentaires pour classifier et corriger les assertions factuelles, ou pour désapprendre des associations erronées.
• Ensembles et vérificateurs externes : faire valider les réponses par des modèles secondaires spécialisés dans la fact-checking avant restitution à l'utilisateur.
• Chaînes de raisonnement vérifiables : encourager les architectures qui produisent des étapes intermédiaires explicites (chain-of-thought) accompagnées de sources, facilitant l'audit humain.

Ces approches techniques, combinées à une gouvernance rigoureuse, réduisent le taux d'erreurs factuelles et augmentent la confiance opérationnelle des entreprises dans les systèmes d'IA.

Impacts sectoriels et cas d'usage

Les effets varient selon les secteurs : dans la santé, une erreur factuelle peut compromettre un diagnostic ou un plan thérapeutique ; en finance, une information inexacte peut mener à des décisions d'investissement coûteuses ; en droit, des citations erronées ou des interprétations fausses de la jurisprudence peuvent nuire gravement à une plaidoirie ou à la conformité réglementaire. Les secteurs réglementés devront donc renforcer les contrôles et préférer des modèles assortis de garanties renforcées.

Cependant, l'IA reste utile pour automatiser des tâches de support, accélérer la recherche documentaire, synthétiser des informations et produire des brouillons. La clé est d'utiliser les modèles comme des outils d'appoint, avec des mécanismes clairs de vérification et de reprise humaine pour les décisions critiques.

Perspectives d'évolution et feuille de route

Google présente FACTS non seulement comme un avertissement mais aussi comme une feuille de route pour corriger des faiblesses systémiques. En identifiant précisément où les modèles échouent — par exemple dans la citation de longues sources ou la désambiguïsation d'images complexes — les chercheurs et ingénieurs peuvent prioriser les travaux d'amélioration (meilleurs algorithmes de recherche, annotation plus fine, données curées, et procédures d'évaluation élargies).

À moyen terme, on peut s'attendre à des progrès significatifs : meilleures architectures multimodales, pipelines RAG plus robustes, modèles spécialisés par domaine et méthodes de supervision humaine plus intégrées. Mais ces améliorations nécessitent du temps, des données de haute qualité et des protocoles de validation stricts.

Recommandations pour les décideurs

Pour les décideurs IT, juridiques et opérationnels, voici un plan d'action synthétique :

1. Évaluer les cas d'usage : distinguer les tâches non critiques (brouillons, support interne) des tâches critiques nécessitant validation.
2. Mettre en place des politiques d'utilisation : définir qui peut utiliser l'IA, pour quelles tâches, et avec quels contrôles.
3. Exiger la traçabilité des sources : ne pas déployer d'outil sans capacité à fournir des sources horodatées et vérifiables.
4. Former les équipes : sensibiliser les utilisateurs aux limites, aux risques d'hallucination et aux bonnes pratiques de vérification.
5. Planifier des audits et tests réguliers : utiliser des benchmarks comme FACTS pour mesurer l'évolution des performances et détecter les régressions.

Adopter ces mesures permet d'exploiter les bénéfices productifs de l'IA tout en maîtrisant les risques, et de préparer un déploiement progressif et responsable.

En conclusion, le message principal de FACTS est clair : l'intelligence artificielle progresse rapidement, mais la fiabilité factuelle reste un chantier majeur. Les entreprises et les utilisateurs doivent adopter une posture critique et mettre en place des garde-fous techniques et organisationnels pour transformer l'IA en un assistant utile et sûr, plutôt qu'en source d'autorité inconditionnelle.

FACTS illustre aussi la nécessité d'une recherche continue sur la vérification des faits automatisée, l'intégration de connaissances structurées (knowledge graphs), et le développement d'outils d'explicabilité qui permettent aux utilisateurs de comprendre et de contrôler les décisions algorithmiques. Ces avancées sont essentielles pour que l'IA atteigne une maturité compatible avec des responsabilités élevées et des exigences réglementaires renforcées.

Enfin, au plan éthique et réglementaire, les organisations devront documenter l'usage de l'IA, conserver des pistes d'audit et prouver la diligence raisonnable dans la validation des résultats produits par les modèles. FACTS fournit une base d'évaluation utile pour ces processus, en identifiant clairement où des améliorations sont nécessaires et en offrant un repère comparatif pour mesurer les progrès futurs.