Perplexity sous le radar : bots furtifs et restrictions contournées
Selon un rapport de Cloudflare, l’outil de recherche IA Perplexity utilise des techniques de furtivité pour ignorer les directives mises en place par les sites web. Alors que de nombreux éditeurs protègent leurs contenus grâce au fichier robots.txt ou à des règles de pare-feu (WAF), les crawlers de Perplexity parviennent à accéder aux pages malgré ces blocages.
Comment Perplexity échappe aux robots.txt
Cloudflare a mené des tests sur plusieurs domaines dotés d’interdictions explicites pour les bots de Perplexity. Lorsque les crawl bots détectent un blocage sous l’identité « PerplexityBot » ou « Perplexity-User », ils changent immédiatement leur user agent, se faisant passer pour un navigateur grand public (« Google Chrome sur macOS »). Les adresses IP utilisées sont rotatives et ne figurent pas dans la liste officielle des IP de Perplexity, ce qui empêche les filtres de les identifier et de les bloquer.
En parallèle, ces bots modifient également leur numéro d’AS (Autonomous System Number), une technique avancée pour dissimuler leur provenance et contourner les règles de filtrage basées sur l’AS des flux entrants. D’après Cloudflare, cette activité s’observe sur « des dizaines de milliers de domaines et des millions de requêtes par jour ».
Impacts et réactions
Cette pratique renforce les inquiétudes autour de la collecte non autorisée de contenus par les startups d’IA. L’année dernière déjà, Perplexity avait été pointé du doigt pour avoir contourné des paywalls et ignoré les directives de robots.txt, une controverse que le PDG Aravind Srinivas avait attribuée à des crawlers tiers.
Face au nouveau rapport, Cloudflare a retiré Perplexity de sa liste de bots vérifiés et déployé des moyens techniques pour bloquer ces crawlers « furtifs ». De son côté, la startup qualifie le blog de Cloudflare de « coup de communication » et évoque de nombreuses « incompréhensions » dans l’enquête.
De plus en plus de services web adoptent des solutions payantes pour permettre aux IA d’explorer légalement leurs contenus, préservant ainsi les droits des éditeurs face à l’« existential threat » que représente l’IA selon le CEO de Cloudflare, Matthew Prince.
👉 Source ici