Cloudflare ayuda a terminar con el dilema entre la búsqueda y el entrenamiento de la IA

Ciudad de México, 17 de septiembre de 2026.— Cloudflare, Inc. (NYSE: NET), la empresa líder en conectividad cloud, anunció hoy una nueva designación de "Accountable" (responsable) para el rastreo de la IA. En conjunto con esto, Cloudflare lanzó Disallow AI Training, una configuración que permite a cualquier sitio web rechazar el entrenamiento de la IA mientras permanece completamente en los resultados de búsqueda. Hace once semanas, Cloudflare expresó que los propietarios de sitios web merecían control real sobre cómo la IA usa su contenido y estableció lo que los operadores de rastreadores tendrían que proporcionar para obtener un acceso continuo. Apple, Google y Microsoft ahora están etiquetadas como Accountable y han demostrado que cumplen con estos criterios o han proporcionado cronogramas específicos para cumplirlos. Otros rastreadores de uso mixto son bloqueados si los propietarios del sitio activan la opción Block Training.

Durante casi treinta años, el acuerdo entre los rastreadores y los propietarios de sitios web era simple: ellos te rastrean y tú recibes tráfico a cambio. La IA cambió los términos. Los rastreadores de uso mixto, un rastreador que recopila contenido tanto para un índice de búsqueda como para el entrenamiento de la IA, ahora constituyen el 36,6 % del tráfico de rastreadores verificados en la red de Cloudflare, la categoría individual más grande. La mayoría de los propietarios de sitios web aún desean ser encontrados: menos del 1 % bloquean los rastreadores de búsqueda, mientras que el 17 % restringe el entrenamiento de la IA. Hasta hoy, rechazar el entrenamiento significaba perder la búsqueda de rastreadores que carecían de los controles adecuados.

"Así es como mejoramos Internet: preservando la apertura que hace que la búsqueda sea valiosa mientras damos a las personas y empresas detrás de la web un control significativo sobre cómo se utiliza su trabajo", dijo Matthew Prince, cofundador y CEO de Cloudflare. "Esperamos continuar colaborando con empresas como Apple, Google y Microsoft mientras trabajamos juntos para construir un ecosistema saludable."

Los rastreadores de uso mixto fueron la parte más difícil del problema del entrenamiento de la IA. Lo siguiente son los resúmenes generados por la IA: cada operador que Cloudflare designe como Accountable debe proporcionar a los propietarios de los sitios web una forma de excluirse de los resúmenes de la IA. Hoy en día eso es una elección de sí o no, configurada con cada operador de forma individual. Para principios del próximo año, el objetivo de Cloudflare es permitir que los propietarios de sitios web controlen cuánto de su contenido se incluye, en un solo lugar.

Nuevos controles, nuevas recomendaciones

Cloudflare está reemplazando su interruptor “Block AI Bots" con tres controles independientes: uno para búsqueda, uno para entrenamiento de la IA y otro para agentes de IA. Los nuevos sitios web en Cloudflare ahora verán configuraciones recomendadas adaptadas a su modelo de negocio:

Cloudflare también está reemplazando su función "Managed Robots.txt" con "Bot Preference Sync," que permite a los propietarios de sitios establecer sus preferencias de rastreo una vez y aplicarlas automáticamente a todos los rastreadores compatibles. Los clientes pueden cambiar fácilmente sus configuraciones y preferencias en cualquier momento.

Rastreo de IA responsable

Cloudflare estableció criterios claros para el rastreo de IA responsable y transparente, incluso para rastreadores de uso mixto. Hay cuatro requisitos que los operadores deben cumplir o comprometerse a cumplir dentro de un plazo especificado:

Apple, Google y Microsoft han demostrado que cumplen con estos criterios. Por ejemplo, Google ofrece Google-Extended, un control que permite a los sitios la opción de no participar en el entrenamiento sin excluirse de la búsqueda, y anunció nuevas herramientas a principios de este año para ayudar a los propietarios de sitios web a navegar en la IA en la búsqueda. Otras empresas líderes en IA operan rastreadores separados para la búsqueda y el entrenamiento. Esto permite a Cloudflare bloquear sus rastreadores de entrenamiento sin afectar a la búsqueda, de modo que Cloudflare también categoriza los rastreadores relevantes como Accountable. Cloudflare publica la lista completa de operadores que califican en Cloudflare Radar.

Cloudflare también participa activamente en el trabajo de estándares abiertos del Internet Engineering Task Force (IETF), incluyendo "ai-prefs", una especificación en desarrollo que permitiría a cualquier sitio web expresar sus preferencias de acceso a la IA de una manera estandarizada y portátil. Los controles de hoy están diseñados para trabajar junto a estos estándares emergentes.

Para obtener más información sobre el enfoque de Cloudflare hacia la inteligencia artificial y el control de contenido, consulta los siguientes recursos: