Cloudflare a récemment mis en place de nouvelles mesures pour contrer les crawlers d’intelligence artificielle. Désormais, chaque nouveau client de domaine qui s’inscrit auprès de la société pour gérer le trafic de son site Web se verra poser la question s’il souhaite autoriser les crawlers d’IA ou les bloquer complètement. En 2024, l’entreprise avait déjà lancé un outil gratuit pour bloquer les bots d’IA, mais avec ce changement, les utilisateurs peuvent les bloquer par défaut sans avoir à modifier leurs paramètres. Plusieurs grands éditeurs, dont Condé Nast, TIME et The Associated Press, ont déjà opté pour le blocage des crawlers. De plus, Cloudflare a lancé une expérimentation en version bêta privée appelée “pay per crawl”, qui ne permettrait aux crawlers d’accéder au contenu d’un site Web que s’ils paient pour cela.
Matthew Prince, le PDG de Cloudflare, a récemment déclaré que les éditeurs sont confrontés à une menace existentielle, car les gens ne cliquent pas sur les liens sources des chatbots. Si les utilisateurs ne visitent pas ces sources, les sites Web ne génèrent pas les revenus publicitaires nécessaires pour continuer à fonctionner. “Le contenu original est ce qui rend Internet l’une des plus grandes inventions du siècle dernier, et il est essentiel que les créateurs continuent à le produire”, a déclaré Prince dans un communiqué publié avec les dernières mises à jour de l’entreprise. “Les crawlers d’IA ont été utilisés pour scraper du contenu sans limites. Notre objectif est de redonner le pouvoir aux créateurs tout en aidant les entreprises d’IA à innover. Il s’agit de protéger l’avenir d’un Internet libre et dynamique avec un nouveau modèle qui fonctionne pour tous.”
Cloudflare estime que les éditeurs devraient pouvoir facturer l’accès aux bots d’IA s’ils le souhaitent, et “pay per crawl” est sa première expérimentation à cette fin spécifique. “Chaque fois qu’un crawler d’IA demande du contenu, il doit présenter une intention de paiement via des en-têtes de requête pour un accès réussi (code de réponse HTTP 200), ou recevoir une réponse 402 Payment Required avec les tarifs”, a expliqué Cloudflare. L’entreprise enregistre ces transactions et fournit l’infrastructure technique sous-jacente. Les éditeurs pourront autoriser certains crawlers à accéder gratuitement à leur contenu s’ils le souhaitent, et ils pourront définir un prix fixe par demande sur l’ensemble de leurs sites Web pour les autres crawlers.
Cloudflare indique que “pay per crawl” est encore à un stade très précoce et s’attend à ce que l’outil évolue à l’avenir. Elle soutient également le développement d’autres places de marché et moyens de facturer les crawlers d’IA pour le contenu. Une place de marché pourrait, par exemple, permettre une tarification dynamique qui permettrait aux éditeurs de facturer des tarifs différents pour différents types de contenu.
Cette récente initiative de Cloudflare souligne l’importance croissante de la protection des contenus originaux en ligne et de l’équité dans l’accès à ces contenus. La lutte contre le scraping abusif de contenu par les crawlers d’IA est un enjeu majeur pour les créateurs de contenu et les éditeurs en ligne, et les mesures prises par Cloudflare visent à rétablir un équilibre dans l’écosystème numérique.
