No ano passado, Internet empresa de infraestrutura Cloudflare Ferramentas lançadas permitindo que seus clientes bloqueie os raspadores da IA. Hoje, a empresa levou sua luta contra a falta de permissão de vários passos. Ele mudou para bloquear os rastreadores da AI por padrão para seus clientes e está avançando com um programa de pagamento por crawl que permite que os clientes cobram as empresas de IA para raspar seus sites.
Os rastreadores da web arrastaram a Internet para obter informações por décadas. Sem eles, as pessoas perdiam ferramentas on -line de vital importância, desde a pesquisa do Google até o inestimável arquivo do Internet Archive Trabalho de preservação digital. Mas o boom da AI produziu um boomlet correspondente em rastreadores da web focados na IA, e esses robôs raspam páginas da web com uma frequência que pode imitar um ataque de DDoSAssim, servidores de esforço e batendo sites offline. Mesmo quando os sites podem lidar com a atividade aumentada, muitos não queira A IA Crawlers eliminando seu conteúdo, especialmente publicações de notícias que exigem que as empresas de IA paguem para usar seu trabalho. “Temos tentado febril a nos proteger”, diz Danielle Coffey, presidente e CEO da Aliança de Mídia do Negal de Notícias, que representa vários milhares de pontos de venda na América do Norte.
Até agora, o chefe de controle de IA, privacidade e mídia da Cloudflare, Will Allen, diz à Wired, mais de 1 milhão de sites de clientes ativaram suas ferramentas mais antigas de bloqueio de AI-bot. Agora, milhões mais terão a opção de manter o bloqueio de bot como padrão. O Cloudflare também diz que pode identificar até os arranhões “sombras” que não são divulgados pelas empresas de IA. A empresa observou que usa uma combinação proprietária de análise comportamental, impressão digital e aprendizado de máquina para classificar e separar os bots da IA de bots “bons”.
Um padrão da Web amplamente usado chamado Protocolo de Exclusão de Robôs, geralmente implementado por meio de um arquivo robots.txt, ajuda os editores a bloquear os bots caso a caso, mas seguindo ele não é legalmente necessário e há Muita evidência que algumas empresas de IA tentam evitar os esforços para bloquear seus arranhões. “Robots.txt é ignorado”, diz Coffey. De acordo com um relatório A partir da plataforma de licenciamento de conteúdo, Tollbit, que oferece seu próprio mercado para os editores negociarem com as empresas de IA sobre o acesso de bot, a eliminação de IA ainda está aumentando – incluindo raspagem que ignora robots.txt. Tollbit descobriu que mais de 26 milhões de arranhões ignoraram o protocolo apenas em março de 2025.
Nesse contexto, a mudança do CloudFlare para o bloqueio por padrão pode ser um obstáculo significativo para raspadores clandestinos e pode dar aos editores mais alavancagem para negociar, seja através do programa de pagamento por crawl ou não. “Isso pode mudar drasticamente a dinâmica do poder. Até esse ponto, as empresas de IA não precisaram pagar para licenciar conteúdo, porque sabem que podem aceitar isso sem consequências”, diz Nicholas Thompson, CEO da Atlântica (e ex -editor de Wired, Nicholas Thompson. “Agora eles terão que negociar, e isso se tornará uma vantagem competitiva para as empresas de IA que podem acertar mais e melhores acordos com mais e melhores editores”.
Você começa PRORATAque opera o mecanismo de busca da IA GIST.Ai, concordou em participar do programa Pay por Crawl, de acordo com o CEO e fundador Bill Gross. “Acreditamos firmemente que todos os criadores e editores de conteúdo devem ser compensados quando seu conteúdo for usado nas respostas da IA”, diz Gross.
Obviamente, resta saber se os grandes players do espaço da IA participarão de um programa como Pay por Crawl, que está na versão beta. (Cloudflare se recusou a nomear participantes atuais.) Empresas como o OpenAI atacaram acordos de licenciamento Com uma variedade de parceiros de publicação, incluindo a empresa controladora Wired Condé Nast, mas detalhes específicos desses acordos não foram divulgados, incluindo se o contrato cobre o acesso de bot.
Enquanto isso, há um ecossistema online inteiro de tutoriais sobre como evitar as ferramentas de bloqueio de bot da CloudFlare, destinadas a raspadores da web. À medida que o bloqueio de bloqueio é lançado, é provável que esses esforços continuem. O CloudFlare enfatiza que os clientes que desejam deixar os robôs rasparem desimpedidos serão capazes de desligar a configuração de bloqueio. “Todo o bloqueio é totalmente opcional e, a critério de cada usuário individual”, diz Allen.
