CloudFlare, apodado el Cyber ​​​​Bodhisattva por los internautas, lanzó recientemente configuraciones de protección de rastreadores de IA para todos los usuarios gratuitos. De hecho, esta función ha estado disponible antes, pero debe configurarse de acuerdo con las reglas. La función de regla requiere el uso de un plan de suscripción como CloudFlarePro.

La protección de rastreadores de IA recientemente lanzada (AIScrapers y Crawlers) es una configuración de un solo clic para todos los usuarios. Ya sean usuarios gratuitos o suscritos, sólo necesitan activar esta opción con un clic.

CloudFlare dijo que activar esta opción evitará que los robots y rastreadores rastreen el contenido del sitio web para entrenar modelos de inteligencia artificial, lo que puede evitar que algunas empresas de inteligencia artificial obtengan directamente el contenido del sitio web sin autorización.

El principio operativo detrás de esto aún no está claro, pero existe una alta probabilidad de que CloudFlare haya clasificado e identificado rastreadores de IA comunes, como GPTBot de OpenAI, y solo necesite interceptarlos en función de los nombres de estos rastreadores.

CloudFlare proporciona servicios de distribución y protección de seguridad para millones de sitios web, por lo que esta característica tiene una importancia práctica. Después de todo, muchos sitios web, especialmente los sitios web de medios de noticias, están protegidos por derechos de autor.

Pero el problema es que la identificación del rastreador en sí misma también es una forma de protegerse contra los malos y no contra los villanos. Es fácil lidiar con esto cuando OpenAI publica su propio nombre de rastreador y afirma que cumplirá con el protocolo robots.txt. El problema es que muchas empresas no cumplen con el acuerdo y no publican sus propios nombres de rastreadores, y rastrean sitios web locamente para obtener contenido.

En este caso, si desea interceptar, debe pensar en algunas contramedidas, como prohibir directamente la UA que se rastrea con frecuencia, activar la verificación en persona real de CloudFlare y otras funciones para evitar que varios rastreadores eludan la protección de rastreadores de IA de CloudFlare.

Cómo activar esta función: CloudFlare, consola, vaya al sitio web correspondiente, seguridad, programa automático y active AIScrapers y Crawlers.