El rastreador de SlopIA

Es el programa con el que SlopIA lee una web cuando alguien la analiza. No rastrea internet por su cuenta: solo visita una web cuando una persona pega su dirección en SlopIA.

Qué lee

La portada, hasta tres entradas del blog, el robots.txt, el sitemap y el llms.txt. También abre la portada en un navegador, en ordenador y en móvil, para medir las fuentes, los colores y el contraste, y comprueba si responden hasta diez enlaces de la propia web. Cada análisis hace una veintena de peticiones como mucho, y la misma dirección no se vuelve a analizar en 24 horas.

Cómo se identifica

Con el agente de usuario Slopia/0.1 (+https://slopia.zetit.cloud/info). No lleva la palabra «bot» porque muchos cortafuegos de alojamientos compartidos bloquean cualquier agente que la contenga, aunque el robots.txt lo permita; así puede analizar webs de negocios que lo piden sin saltarse ninguna norma.

Algunos filtros antibots, como el de Cloudflare, no miran el agente de usuario sino la conexión, y bloquean la del programa aunque el robots.txt permita pasar. Si SlopIA se encuentra uno, repite esas peticiones desde su navegador, con el mismo agente de usuario y respetando igual el robots.txt. Si no quieres que entre, bloquéalo en el robots.txt como se explica abajo.

Para que nadie pueda hacerse pasar por él, SlopIA firma sus peticiones con Web Bot Auth, el estándar de firmas de bots que comprueban Cloudflare y otros. La clave pública está en /.well-known/http-message-signatures-directory.

Hay una excepción, y es a propósito: para saber si un cortafuegos cierra el paso a los asistentes con IA, SlopIA pide la portada una vez más con el agente de usuario de GPTBot y otra con el de ClaudeBot. Solo la portada, solo si tu robots.txt les deja pasar, y desde la misma dirección que el resto del análisis. Si ves esas visitas en tus registros junto a las de SlopIA, son estas.

Cómo bloquearlo

Añade esto a tu robots.txt y SlopIA no analizará tu web. Sirven los dos nombres, Slopia y SlopiaBot (sin distinguir mayúsculas):

User-agent: Slopia
Disallow: /

Si tienes cualquier duda, escribe a hola@zetit.es.