Injection d'invites physiques : risque pour les robots

Un robot qui « lit » le monde avec une caméra et un modèle vision-langage peut obéir à une affiche imprimée avant même de vous écouter. De nouvelles recherches montrent que l'injection d'invites — surtout connue comme un problème des chatbots — peut franchir l'écran pour entrer dans le monde physique et orienter discrètement des machines autonomes hors de leur trajectoire prévue.

Plutôt que de pirater un logiciel ou de falsifier des capteurs, l'attaque considère l'environnement comme un champ de saisie. Une étiquette trompeuse, une affiche ou un panneau au bord de la route est placé là où la caméra du robot va le voir. Pour un humain à proximité, cela peut paraître anodin. Pour un système d'IA entraîné à suivre des indices textuels et visuels, cela peut se comporter comme une instruction exécutable.

Dans des expériences en simulation, les chercheurs rapportent un taux de réussite de 81,8 % dans un scénario de conduite autonome et de 68,1 % dans une tâche d'atterrissage d'urgence de drone. Lors d'essais réels avec une petite voiture robotique, des invites imprimées ont pris le pas sur la navigation avec au moins 87 % de succès, sur des angles de vue et des conditions d'éclairage variés — ce qui suggère que ce phénomène n'est pas qu'une curiosité de laboratoire.

Quand un panneau devient une instruction

La technique, baptisée CHAI, cible une étape clé dans de nombreuses piles d'autonomie modernes : la « couche de commande ». Dans les systèmes qui utilisent des modèles vision-langage (VLM), le modèle génère souvent une instruction intermédiaire — essentiellement un plan exprimé en mots — avant qu'un contrôleur en aval ne convertisse ce plan en commandes de direction, de freinage ou de moteur.

Si un attaquant parvient à pousser cette étape de planification vers la mauvaise instruction, le reste du robot peut l'exécuter fidèlement. Pas de malware, pas d'accès privilégié. Le robot fait exactement ce pour quoi il a été conçu — mais en se basant sur du texte trompeur.

De manière importante, le modèle de menace est volontairement low-tech. L'attaquant est considéré comme un acteur externe qui ne peut pas toucher aux systèmes embarqués. Tout ce qu'il lui faut, c'est la possibilité de placer du texte dans le champ de vision de la caméra : un panneau collé sur un mur, une affiche sur une porte ou une étiquette imprimée près d'un point de cheminement.

Le rôle de la couche de commande

La « couche de commande » agit comme un pont entre la perception multimodale et l'action physique. Quand un VLM produit une instruction textuelle intermédiaire, cette sortie sert de contrat entre la compréhension visuelle et le contrôleur cinématique. CHAI exploite exactement ce point d'interface : en polluant l'entrée visuelle par du texte lisible par le modèle, l'attaquant influence la génération de la commande.

Techniquement, l'attaque fonctionne parce que les VLMs sont entraînés pour reconnaître et interpréter le texte dans le contexte de la scène. Ils associent des signaux visuels et textuels à des intentions et transforment ces intentions en directives. CHAI manipule cette association pour substituer une intention malveillante à une intention légitime.

Conçu pour « voyager » à travers scènes, modèles et langues

CHAI n'optimise pas seulement ce que l'invite dit. Il optimise aussi comment elle apparaît — en ajustant des facteurs comme la couleur, la taille, la police et le placement — parce que la lisibilité par le modèle peut déterminer si le message devient une instruction exploitable.

Le document décrit également des invites « universelles » qui continuent de fonctionner sur des images non vues et dans des environnements variés, avec une réussite moyenne d'au moins 50 % selon les tâches et les modèles, et dépassant 70 % dans une configuration basée sur GPT. Le procédé fonctionne même à travers les langues, notamment en chinois, en espagnol et avec des invites mixtes. Cela a de l'importance : un message multilingue peut être moins repérable — ou moins suspect — pour les personnes proches tout en restant très lisible pour le modèle.

Généralisation et prompts universels

Les invites dites « universelles » sont conçues pour être robustes face aux variations contextuelles : elles intègrent des contraintes visuelles (contrastes, tailles) et sémantiques (mots clés, structures) qui maximisent la probabilité d'être interprétées comme commandes valides par différents VLMs. Cette capacité de généralisation rend l'attaque scalable : le même panneau peut manipuler plusieurs robots différents ou influencer des agents dans des scènes distinctes.

En pratique, cela signifie que l'attaque ne dépend pas uniquement d'une configuration expérimentale spécifique. Les équipes de recherche l'ont testée sur divers ensembles de données, architectures de modèle et conditions d'éclairage — et ont constaté que des invites bien conçues « voyagent » entre modèles et contextes.

Pourquoi les équipes de sécurité robotique doivent revoir leur checklist

Les chercheurs proposent plusieurs pistes défensives. L'une consiste à filtrer et détecter : analyser les images de caméra (et les sorties intermédiaires du modèle) à la recherche de texte suspect ou hors contexte. Une autre voie est le travail d'alignement : entraîner les modèles à refuser plus fermement de considérer une écriture environnementale arbitraire comme une instruction exécutable — surtout lorsqu'elle entre en conflit avec les objectifs de mission ou les contraintes de sécurité.

À plus long terme, ils appellent à la recherche sur la robustesse capable d'offrir des garanties plus fortes. Une mesure pratique, à court terme, est simple : considérer par défaut le texte perçu comme une entrée non fiable et exiger qu'il passe des contrôles de mission et de sécurité avant d'influencer la planification du mouvement.

Mesures techniques et procédures recommandées

• Détection OCR et contexte : intégrer des modules OCR robustes avec une analyse contextuelle pour évaluer si le texte est cohérent avec la mission.
• Vérification multi-sources : recouper l'information textuelle avec d'autres capteurs (cartographie LIDAR, données GPS, cartes préchargées).
• Seuils de confiance et refus : imposer des seuils de confiance stricts et règles d'échec sûres si le texte découle d'une source non vérifiable.
• Red team et tests de pénétration physiques : simuler attaques d'injection d'invites dans des environnements réels pour mesurer la résilience.
• Politiques d'alignement et formation : entraîner les VLMs avec des exemples négatifs, en les rendant moins prompts à exécuter mécaniquement des instructions issues du monde physique.

Conséquences pour la sécurité des véhicules autonomes et des drones

Les implications pour la sécurité opérationnelle sont larges. Sur la route, un panneau imprimé malin pourrait amener un véhicule autonome à dévier d'une file, freiner brusquement ou prendre une sortie non souhaitée. Pour les drones, des invites physiques placées près d'une zone d'atterrissage peuvent provoquer un atterrissage d'urgence dans un lieu dangereux. Ces scénarios illustrent des risques concrets pour la sécurité publique, la logistique et les opérations industrielles.

Les résultats en simulation (81,8 % et 68,1 %) et en conditions réelles (≥ 87 %) montrent que l'attaque n'est pas seulement théorique : elle peut atteindre des taux d'efficacité élevés, même avec des systèmes modestes et des panneaux basiques. C'est un signal d'alarme pour les fabricants et intégrateurs de systèmes autonomes et pour les équipes de sécurité des produits robotiques.

Exemples d'impact opérationnel

1. Flotte de livraison autonome : une étiquette malveillante près d'un point de dépôt pourrait rediriger plusieurs véhicules vers une zone non sécurisée.
2. Inspection industrielle par drone : une annotation falsifiée sur un site pourrait forcer un atterrissage non planifié, entraînant perte de charge utile ou dommages.
3. Véhicule de mobilité partagée : des panneaux dans un parking pourraient provoquer des arrêts intempestifs ou des détours, affectant la fiabilité du service.

Approche de défense en couches

Pour contrer CHAI et attaques similaires, une approche de défense en profondeur est recommandée. Aucun mécanisme seul n'est suffisant ; il faut combiner des contrôles logiciels, des vérifications matérielles et des politiques opérationnelles.

Parmi les éléments essentiels : systèmes de confiance sensorielle multi-modaux, politiques d'authentification de l'information environnementale, règles explicites d'acceptation du texte et audits réguliers de sécurité physique. L'idée centrale est de traiter le texte perçu comme une source potentiellement hostile et d'exiger une preuve supplémentaire avant de le traduire en mouvement.

Contrôles techniques précis

Des mesures concrètes comprennent :

• Fusion de capteurs : combiner caméras, LIDAR, RADAR et positionnement pour corroborer une instruction.
• Listes blanches de contexte : restreindre les cas où du texte environnemental peut influencer des actions critiques (par ex. uniquement pour la navigation non critique).
• Logs et traçabilité : conserver les traces des décisions prises par la couche de commande pour permettre post-mortem et analyses forensiques.
• Contrôleurs sûrs : concevoir des contrôleurs en aval qui appliquent des contraintes physiques et de sécurité indépendantes du texte.

Recherche future et agenda réglementaire

Les auteurs appellent à des efforts de recherche ciblés sur la robustesse formelle et des garanties opérationnelles pour les systèmes multimodaux. Cela inclut des méthodologies d'évaluation standardisées, des benchmarks d'attaque physique et des cadres réglementaires pour l'utilisation sécurisée des VLMs embarqués.

Au niveau politique et réglementaire, il est probable que les organismes de sécurité et les standards industriels vont devoir intégrer des exigences spécifiques sur la résilience aux attaques d'injection physique. Les tests de conformité pour les véhicules autonomes et les drones pourraient, à terme, inclure des scénarios d'injection d'invites physiques.

Perspectives d'innovation défensive

Des pistes technologiques émergent : modèles multimodaux capables d'estimer la provenance et la crédibilité du texte, systèmes d'authentification visuelle (watermarking) pour éléments critiques de l'environnement, et outils d'audit automatisés qui simulent des attaques physiques pour évaluer la surface d'exposition.

Ces innovations peuvent créer une barrière supplémentaire entre contenu visuel non fiable et décisions de mouvement, en renforçant à la fois la sécurité et la confiance dans les systèmes robotiques.

Tester, durcir, répéter

La recommandation pratique pour les équipes produit est claire : si votre robot lit des panneaux, testez ce qui se passe quand ces panneaux mentent. Intégrez des campagnes de red teaming physique, mesurez la sensibilité des pipelines VLM→commande, et mettez en place des mécanismes d'atténuation simples mais efficaces (filtrage, vérification multi-sensorielle, refus sûr).

Le travail présenté est programmé pour être présenté à SaTML 2026, où ces risques d'injection d'invites réelles — et les défenses potentielles contre eux — devraient attirer davantage d'attention de la communauté de la sécurité, de la recherche et de l'industrie.

En résumé, l'injection physique d'invites pose un défi nouveau et pratico-pratique à la sécurité des systèmes autonomes : elle exploite la capacité croissante des modèles vision-langage à interpréter le texte comme intention, et elle oblige une révision des hypothèses de sécurité autour de ce que les robots sont autorisés à « lire » et à exécuter.