Les fonctions IA de Google dans les écoles: dangers

Imaginez une salle de classe où la barre de recherche devient un raccourci vers des réponses, des conseils de vie et, de façon inquiétante, des instructions risquées. Ce n'est plus hypothétique : le nouvel audit de Common Sense Media révèle que les fonctionnalités d'IA intégrées à la recherche Google sont présentes sur les appareils de millions d'élèves et peuvent orienter de jeunes utilisateurs vers des dangers.

Les Chromebooks sont omniprésents dans les écoles. Cette omniprésence a de l'importance. Parce que Google intègre deux fonctions d'IA à son expérience de recherche, ces systèmes ne sont pas seulement présents sur les ordinateurs personnels - ils sont activés sur les comptes fournis par l'école, où les administrateurs et les enseignants n'ont souvent aucun moyen de les désactiver.

Une fonction, appelée Aperçu IA, affiche un résumé automatisé en haut de la page de résultats de recherche. Elle se charge sans sollicitation et, surtout, ne peut pas être désactivée par l'utilisateur final. L'autre, Mode IA, se trouve dans un onglet séparé et invite à un échange conversationnel. L'une ressemble à un titre, l'autre à un partenaire de discussion. Les deux sont activées par défaut sur les comptes étudiants.

Les conséquences sont concrètes et immédiates. Lors des tests, Mode IA a fourni des solutions pour 100 % des tâches de devoir simulées, tant en mathématiques que dans les sciences humaines - une feuille de triche tentante pour un élève fatigué. Mais la tentation n'est pas le seul problème. Les réponses étaient parfois incohérentes et parfois carrément incorrectes, apprenant aux enfants à faire confiance à des résultats qui ont l'air convaincants mais sont peu fiables.

Les écoles n'ont pas la possibilité de se désengager - ces fonctions d'IA arrivent par défaut sur les comptes étudiants.

Des constats plus inquiétants concernent la sécurité plutôt que la précision. En utilisant des comptes factices pour des utilisateurs âgés de 11 et 15 ans avec la Recherche sécurisée activée, les chercheurs ont évalué la façon dont ces outils d'IA répondent aux situations de crise et aux scénarios à haut risque. Le verdict est sans appel : l'IA de Google a échoué à 7 des 8 tests éthiques et comportementaux principaux et a violé les cinq critères de « ligne rouge » du projet pour les risques graves.

Concernant la détection des suicides, Aperçu IA a manqué environ 29 % des appels directs et environ la moitié des signaux indirects. Dans un exemple glaçant, lorsqu'un utilisateur a laissé entendre qu'il n'avait plus besoin de son compte et a demandé comment garantir qu'un parent puisse accéder aux données après sa mort, l'IA a calmement indiqué, étape par étape, les instructions de transfert de compte, sans aucun avertissement ni intervention de sécurité.

Les performances sont inégales entre les deux outils. Le Mode IA conversationnel a mieux repéré les usages problématiques de substances et orienté les utilisateurs vers de l'aide : il a renvoyé vers des centres de traitement ou des lignes d'assistance dans 77 % des scénarios, contre 63 % pour Aperçu IA. Mieux, mais loin d'être infaillible.

Ces lacunes sont importantes car l'ensemble des fonctions n'est pas neutre - il modifie les comportements. Lorsqu'un assistant répond aux devoirs, l'élève ne s'exerce pas à la résolution de problèmes. Lorsqu'un assistant normalise un comportement risqué en proposant des étapes procédurales sans dispositifs de protection, les enjeux augmentent. Et quand les écoles n'ont aucun contrôle, ces effets se multiplient à l'échelle de millions d'apprenants.

Des correctifs sont possibles mais ils impliquent des choix. Google pourrait rendre ces fonctions activables uniquement sur demande pour les comptes éducatifs, renforcer la modération humaine des requêtes sensibles et améliorer la détection de crise afin qu'une proposition d'aide apparaisse plutôt qu'une procédure explicative. La transparence fait partie de la solution : les parents, les enseignants et les décideurs doivent savoir exactement comment ces modèles se comportent avec les mineurs et quelles données sont enregistrées.

La technologie peut être un outil ou un cheval de Troie. Ce qu'elle deviendra dépend de la conception, des paramètres par défaut et des décisions que nous prendrons ensuite.