Radiografía de la resistencia: cuatro estrategias frente a la IA

Nos despedimos en julio analizando el nacimiento de SPUR Coalition, un movimiento colectivo con el que los editores buscan dar el salto desde los bloqueos rudimentarios e insuficientes hacia un nuevo modelo basado en la telemetría activa y la auditoría en tiempo real. Con el nuevo curso, la industria avanza hacia sistemas cada vez más sofisticados de control y trazabilidad, donde la primera línea de defensa de la web abierta, el “modesto” archivo robots.txt, adquiere una nueva dimensión estratégica.

Un reciente análisis de FT Strategies sobre los archivos robots.txt de 70 grandes editores globales revela que este protocolo técnico ha dejado de ser una simple tarea de mantenimiento web para convertirse en un documento público de intención estratégica (strategic intent). Y aunque desde el punto de vista tecnológico cualquiera puede saltárselo fácilmente, su valor es innegable porque deja constancia pública y fechada del posicionamiento de un medio frente al uso de sus contenidos. Se trata de un testigo con validez de registro que los editores pueden utilizar como palanca para fortalecer su poder de negociación frente a las plataformas de Inteligencia Artificial.

El informe constata que la inmensa mayoría de la industria ya no asiste de brazos cruzados al rastreo de su propiedad intelectual. De las 70 cabeceras analizadas, 60 restringen de forma explícita al menos un rastreador de IA y 57 bloquean totalmente al menos uno.

A partir de este comportamiento, se identifican cuatro grandes patrones estratégicos:

1. Abierta (Open): Acceso libre para maximizar la visibilidad en las respuestas de la IA. Es una postura de alto riesgo que debilita el poder de negociación futuro y expone el contenido exclusivo a la canibalización de tráfico.
2. Cerrada (Closed): Bloqueo total de todos los rastreadores. Indicada para marcas premium que priorizan el acceso directo a sus entornos. Exige combinar el archivo con herramientas de bloqueo activas (como CDNs o firewalls) debido a que el robots.txt no garantiza por sí solo la prevención técnica.
3. División por función (Split by function): Es la estrategia predeterminada que está emergiendo en el mercado. Consiste en cerrar el paso a los bots de entrenamiento, pero permite el acceso a los de búsqueda y respuestas en tiempo real (por ejemplo, 23 de los 70 editores bloquean el bot de entrenamiento de OpenAI, GPTBot, mientras que dejan su bot de búsqueda y respuestas, OAI-SearchBot, abierto o con acceso parcial).
4. División por contenido (Split by content): Similar a las reglas de los muros de pago, abre el acceso a la cobertura generalista (commodity) pero restringe las secciones de archivo e información premium. Aunque protege los contenidos de valor, es un modelo complejo y difícil de mantener a nivel de rutas web.

La opción favorita del sector, bloquear el entrenamiento de archivos pero permitir la indexación para búsquedas generativas, refleja el temor de los editores a perder tráfico de referencia. 

A diferencia del entrenamiento (que se trata de una acción puntual), los rastreadores de recuperación y respuesta (retrieval) vuelven al sitio web constantemente para capturar información en tiempo real. Al permitirles el acceso, los editores están facilitando que los resúmenes de la IA generativa satisfagan por completo la necesidad del usuario, destruyendo el tráfico directo y las suscripciones sin ofrecer compensación alguna. Como venimos advirtiendo, y así se constata en el informe, mientras el valor de las licencias migre hacia la fase de recuperación, esta apuesta intermedia sigue dejando a los medios expuestos.

Además, existe una disonancia técnica relevante ya que la política pública del robots.txt a veces oculta acuerdos privados. Un medio puede bloquear públicamente un crawler en su servidor mientras, por detrás, suministra sus contenidos a la tecnológica a través de una API o feed bajo un contrato de licencia entre las partes.

De la declaración pasiva a la soberanía activa

El informe de FT Strategies y el nacimiento de SPUR Coalition apuntan en la misma dirección estratégica: la necesidad de recuperar la soberanía sobre el conocimiento.

El robots.txt es un excelente punto de partida para que cada medio defina qué valor tiene su contenido y exprese públicamente sus límites frente a terceros. Pero, tal y como concluimos en nuestro artículo sobre SPUR, esta estrategia es insuficiente en un mercado tan asimétrico. La industria necesita transitar de la mera resistencia pasiva a una gobernanza estructurada, donde las capas de defensa técnica (robots.txt, CDN, paywalls) se alineen con los contratos de licencia y, sobre todo, con herramientas de telemetría bidireccional y auditoría en tiempo real que garanticen que el valor de la información de calidad sea recompensado justamente.

En la era de la IA, la soberanía digital no se defiende sólo levantando murallas que nunca serán infranqueables del todo, sino sabiendo exactamente quién, cómo y para qué se está utilizando nuestro conocimiento, y haciendo valer las marcas editoriales que son las que sostienen el sistema tecnológico. Como venimos insistiendo, éste debería ser un posicionamiento de industria, no solo de unas pocas cabeceras. El futuro de la soberanía digital del sector está en juego.