Cloudflare renforce la protection des contenus face aux crawlers IA
Le fournisseur d’infrastructure Cloudflare déploie une nouvelle mesure pour protéger les sites web contre le scraping par intelligence artificielle. Désormais, les AI crawlers connus seront automatiquement bloqués, empêchant l’accès non autorisé aux contenus sans compensation.
Blocage par défaut des crawlers IA
Pour tous les nouveaux domaines, le réglage de blocage des AI crawlers est activé par défaut. Les propriétaires de site pourront toutefois choisir d’autoriser certains bots. Cette initiative intervient après l’option, lancée en 2023, de bloquer les robots respectant ou non le fichier robots.txt.
Un programme Pay Per Crawl pour monétiser l’accès
Cloudflare introduit un programme Pay Per Crawl qui permet aux éditeurs de fixer un tarif pour l’accès de leurs contenus aux IA. Les entreprises d’IA peuvent alors consulter les tarifs et décider de s’enregistrer ou de renoncer. Pour l’instant, cette offre est réservée à un panel de grands éditeurs et créateurs de contenu.
Des outils avancés contre le scraping
En complément, Cloudflare propose depuis mars un « AI Labyrinth » pour tromper les crawlers indésirables et travaille à vérifier l’identité des bots d’IA. Les éditeurs peuvent ainsi connaître leur finalité (entraînement, inférence ou recherche) et n’autoriser que ceux répondant à leurs conditions.
Plusieurs acteurs majeurs comme The Associated Press, The Atlantic ou Stack Overflow ont déjà adopté ces restrictions, soulignant l’importance de protéger l’originalité du web. « Notre objectif est de rendre le pouvoir aux créateurs tout en permettant l’innovation », affirme Matthew Prince, CEO de Cloudflare.
👉 Source ici