Quand les assistants de recherche diffusent de fausses infos

Imaginez demander à votre assistant de recherche un fait rapide et recevoir en retour une rumeur macabre : Donald Trump serait prétendument décédé de la rage ce mois-ci. Absurde. Choquant. Faux.

C’est le titre que certains utilisateurs ont vu après avoir interagi avec l'IA de DuckDuckGo, qui a renvoyé l'affirmation que Trump aurait succombé à la rage et a même cité un article apparemment local de WKNA News comme preuve. L'histoire fabriquée allait plus loin : elle alléguait que J.D. Vance aurait mordu Trump sur les conseils de Robert F. Kennedy Jr., qui aurait soutenu que la rage conférerait des pouvoirs extraordinaires. L'assistant a aussi cité un article d'ABC News sur un décès lié à la rage dans l'Ohio, une histoire réelle, mais sans aucun lien avec Trump.

Rien de tout cela ne tient. Trump et Vance sont en vie. RFK Jr. a formulé par le passé des affirmations controversées sur la santé, mais il n'a jamais conseillé à quiconque de rechercher une infection par la rage comme “amélioration” de santé. L'article WKNA référencé par l'IA semble être un faux ou un contenu fortement manipulé semé sur le web. DuckDuckGo n'avait pas publié d'explication publique au moment de la rédaction.

Comment un outil de recherche alimenté par l'IA a-t-il pu assembler ces éléments en un récit convaincant mais entièrement mensonger ? La réponse est complexe et d'origine humaine. Des acteurs malveillants et des trolls en ligne fabriquent des publications fictives, les recollent sur des sites obscurs et des fils de forum, et laissent les index de recherche les récupérer. Les modèles de récupération qui alimentent les IA de recherche peuvent alors retrouver ces fragments, les combiner et produire une réponse qui sonne avec assurance, sans le contexte ni la vérification qu'exigerait un éditeur humain.

Il y a un autre ingrédient : le régime d'entraînement et de récupération de nombreux systèmes conversationnels inclut d'immenses quantités de contenu généré par les utilisateurs. Reddit, les sections de commentaires et les blogs marginaux font souvent remonter tôt du matériel non vérifié. Lorsque des groupes se coordonnent, par jeu ou par malveillance, ils peuvent pousser les modèles vers la désinformation en créant un fil d'indices qui paraît crédible à un outil automatisé de recherche de sources.

Ces systèmes sont conçus pour être utiles et répondre rapidement. Cette rapidité est une fonctionnalité. C'est aussi une source de risque. Les modèles n'éprouvent pas de scepticisme. Ils ne vérifient pas si un média local a été usurpé ou si un agrégateur a attribué une manchette de manière erronée. Ils synthétisent. Parfois cette synthèse devient une hallucination : une affirmation qui paraît plausible sans aucun fondement factuel.

Cet épisode souligne une vérité simple : les IA de recherche ont besoin de provenance, d'indicateurs de confiance et d'une supervision humaine avant que leurs sorties ne soient traitées comme des faits.

Pour les lecteurs, les précautions sont connues mais méritent d'être rappelées. Cherchez la corroboration dans des médias établis. Suivez les liens sources jusqu'au reportage original. Méfiez-vous des affirmations sensationnelles qui apparaissent sur des sites de petite taille ou récemment créés. Et si un assistant de recherche fournit une citation, ouvrez-la, n'assumez pas que l'assistant a fait la vérification pour vous.

Pour les équipes de plateforme, la voie à suivre est à la fois technique et organisationnelle. Améliorez les filtres de récupération pour déprioriser les domaines de faible qualité. Rendre la provenance visible afin que les utilisateurs sachent quelle source l'IA a utilisée. Ajoutez des contrôles automatisés qui signalent les affirmations improbables et les orientent vers une revue humaine. Enfin, investissez dans des mécanismes de correction rapides quand quelque chose de manifestement faux se propage.

L'IA continuera de devenir plus intelligente. Les personnes qui cherchent à la tromper aussi. La victoire dépendra moins des modèles que des systèmes et des pratiques que nous construirons autour d'eux, et de la capacité des utilisateurs à poser la question cruciale : d'où cela vient-il ?