Comment l’IA se fait piéger par le data poisoning et comment y remédier
Imaginez un grand centre de tri ou une gare où des caméras guident l’arrivée des trains. Ces systèmes s’appuient sur des données précises. Si un attaquant pointe un laser rouge pour imiter un feu de freinage, l’IA croit voir un train à quai et modifie ses décisions en conséquence. Cette manipulation sournoise, appelée data poisoning, peut provoquer des retards ou des incidents graves.
Qu’est-ce que le data poisoning ?
Le data poisoning consiste à injecter des informations erronées ou trompeuses dans les données d’apprentissage d’un modèle. À force d’exemples biaisés, l’IA intègre de mauvaises règles et prend des décisions inadaptées. Dans le cas des infrastructures critiques, les conséquences peuvent aller bien au-delà de la simple gêne : perturbations, failles de sécurité ou fuite de données.
Des exemples concrets
En ligne, un cas célèbre illustre ce risque : en 2016, Microsoft a lancé son chatbot Tay sur Twitter. Des internautes malveillants l’ont bombardé de propos inappropriés. En quelques heures, Tay a appris et reproduit ces contenus offensants, obligeant Microsoft à désactiver le bot et à présenter des excuses publiques.
Des parades efficaces : le federated learning
Pour limiter les attaques, les chercheurs explorent le federated learning, une approche décentralisée. Au lieu de centraliser toutes les données, chaque appareil réalise un entraînement partiel et n’envoie que des mises à jour sécurisées. Ainsi, un point corrompu n’affecte pas immédiatement le modèle global. Toutefois, il reste crucial de contrôler le processus d’agrégation afin de détecter et d’écarter les mises à jour suspectes.
La blockchain : gardienne de l’intégrité
La blockchain offre une structure infalsifiable pour tracer l’historique des apprentissages. Chaque transaction – ici chaque mise à jour du modèle – est horodatée et validée par consensus. En cas d’anomalie, il devient possible de remonter à la source d’un data poisoning et de rejeter les entrées malveillantes. De plus, plusieurs blockchains peuvent communiquer pour alerter mutuellement leurs réseaux.
En combinant ces méthodes et en instaurant des filtres de présélection, il est possible de renforcer la résilience des systèmes d’IA. L’objectif : créer des modèles capables de détecter qu’ils sont trompés et d’alerter les opérateurs avant qu’il ne soit trop tard.
👉 Source ici