Cloudflare actualiza robots.txt para permitir que los sitios bloqueen el scraping de IA mientras permiten la indexación de búsquedas y cobran por rastreos. Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

Cloudflare ha actualizado el protocolo robots.txt con nuevos controles de IA, lo que permite a los propietarios de sitios web bloquear el raspado de IA para la capacitación, al tiempo que permite la indexación de búsquedas y permite tarifas de pago por rastreo. Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. La política de señales de contenido introduce directivas como "noai" y opciones de monetización, con el objetivo de dar a los editores un mayor control sobre cómo se utiliza su contenido. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. Si bien las herramientas son gratuitas para los clientes de Cloudflare e incluyen un monitoreo mejorado, el escepticismo persiste sobre el cumplimiento voluntario, ya que muchos bots de IA ignoran robots.txt. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. Los críticos destacan la necesidad de normas legales exigibles, advirtiendo que la autorregulación por sí sola no protegerá a los creadores del uso no autorizado de datos. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.