Durante la semana pasada, comenzó un nuevo movimiento de obras de fans, con el objetivo de erradicar a los autores que utilizan IA generativa. Pero los métodos de detección que se están implementando son cuestionables y cualquier escritor de fanfics podría verse atrapado en el fuego cruzado.
Durante mucho tiempo se ha manifestado un amplio disgusto por el uso de Claude, ChatGPT y otras herramientas de inteligencia artificial. una cosa en comunidades creativas, incluido el mundo del fanfiction. Lectores y escritores han compartido consejos para detectar obras supuestamente generadas por IA, citando desde guiones hasta el concepto amplio de prosa morada. Pero el 29 de junio, una cuenta X anónima llamada @heatedrivalryai prometió una solución aparentemente más confiable. Publicó un aspecto, similar a una extensión, para el popular repositorio de fanfic Archive of Our Own (AO3) que supuestamente identificaría los artefactos de codificación dejados por el bot Claude de Anthropic.
«Cuando una respuesta generada por Claude se pega directamente en AO3 desde Claude, el texto se envuelve con un código inyectado por Claude ‘font-claude-response-body'», dijo la cuenta @heatedrivalryai. «Su presencia indica definitivamente el uso de Claude». Cuando un usuario visita una página (como una obra de fanfic) con este código, la máscara vuelve todo el fondo rojo.
Se han publicado varias publicaciones de prueba en AO3 que permiten a los usuarios comprobar si funciona. La pantalla se puso roja inmediatamente cuando probé la piel con estos ejemplos yo mismo y publiqué una historia corta generada por Claude para realizar mi propio experimento por si acaso. La pantalla roja apareció cuando pegué directamente desde el chatbot al editor y desapareció si pegué texto (incluyendo exactamente la misma historia generada) que no vino directamente de Claude.
La publicación del detector de Claude estuvo acompañada de ejemplos de fanfic donde se detectaron los artefactos, que según el creador anónimo tenían como objetivo demostrar que el sistema funciona, no «crear un ambiente de desconfianza o acusar a usuarios particulares». Pero las comunidades de fanfics se han movilizado rápidamente para nombrar y avergonzar públicamente a los escritores cuyos trabajos publicados fueron señalados por la herramienta, y su creador ciertamente no considera la IA como algo positivo. «Fandom es un espacio singularmente conectivo y colaborativo. Se nutre del elemento humano y de la chispa creativa que lo impulsa y se alimenta de él», dijeron. “Si, sin saberlo, permitimos que la IA corrompa estos espacios, ¿qué quedará de ellos?”
Anthropic no respondió a mi solicitud de verificar si el detector Claude hecho por ventilador funciona como se describe. Sin embargo, la metodología aquí parece sólida y nuestras propias pruebas la respaldan. No hay ninguna razón aparente para que el código Claude esté presente en una historia si el bot no se usó de alguna manera. Pero existe un riesgo claro de que se produzcan falsos negativos y generalizaciones excesivas.
El ajuste del código solo se conserva si el texto se copia directamente desde Claude al editor de AO3, por lo que no capturará nada editado en Google Docs o Microsoft Word y luego movido a AO3, y como alguien que escribe para ganarse la vida, puedo dar testimonio de lo arriesgado que es escribir directamente en un CMS. Algunos escritores que han sido marcados ya actualizaron sus trabajos para eliminar los artefactos, y los trabajos futuros pueden evadir fácilmente la herramienta.
Por el contrario, la etiqueta no revela en qué medida se utilizó a Claude en una obra determinada. Esa pantalla escarlata con flash podría significar que toda la historia fue generada completamente por IA, o que un autor pegó algunas oraciones escritas por humanos en Claude para revisión ortográfica o traducción, y luego las movió nuevamente a AO3.
Eso no les ha importado a algunos miembros del fandom, quienes ven cualquier el uso de la IA generativa como una traición imperdonable a la comunidad creativa en general. Muchas personas expresan su preocupación por el impacto ambiental de la tecnología y cómo se entrena mediante el raspado de la web abierta, que probablemente incluye trabajos de fans cargados en plataformas como AO3.
La aplicabilidad de esta herramienta en particular es limitada: AO3 no es la única plataforma para publicar obras de fans y Claude es solo uno de muchos modelos de IA. Al menos una persona afirma haber escrito un código separado que puede detectar el uso de “Claude, Deepseek y algunos ChatGPT”, pero no ha lanzado esa solución al público ni ha explicado cómo funciona. Pregunté a Google y OpenAI si sus modelos dejan algún artefacto rastreable en la generación de texto que pudiera detectarse por medios similares, pero no respondieron.
De hecho, sería muy sorprendente que existiera un sistema universalmente fiable. He estado informando sobre los problemas relacionados con la detección de IA durante algunos años y, hasta donde yo sé, hay no es actualmente una solución tecnológica confiable para distinguir el texto generado del escrito por manos humanas. Sistemas como C2PA Content Credentials y SynthID de Google están logrando algunos avances hacia la identificación de IA generativa en imágenes, videos e incluso audio, pero estos dependen de marcas de agua invisibles y metadatos que no se transfieren al texto copiado y pegado.
Las empresas de IA tienen todos los incentivos para al menos resolver el problema internamente
Eso podría cambiar en el futuro, y las empresas de IA tienen todos los incentivos para al menos resolver el problema internamente. Los primeros modelos se entrenaron con texto extraído indiscriminadamente de Internet y, a medida que la escritura humana es desplazada por su contraparte sintética, podrían correr el riesgo de un escenario de «colapso del modelo» que degradaría la precisión de los resultados.
Sin embargo, por ahora, las comunidades de fans siguen dependiendo principalmente de las vibraciones. La mayoría de los fanfics no son juzgados por una herramienta como el aspecto AO3, sino por «indicaciones» que podrían incluir cualquier cosa, desde estructuras de oraciones específicas, como el famoso «no es X, es Y», hasta el uso excesivo de metáforas floridas. (Al menos nadie en el fandom, hasta ahora, tiene bancos que se convierten en hombres). Pero debemos recordar que la IA a menudo escribe así porque fue entrenada en cosas que personas reales han escrito. Está tratando de replicarnos. No soy lo suficientemente audaz como para compartir mis propios favoritos de AO3, pero definitivamente leí algunos fanfics demasiado grandilocuentes en los días de Internet anteriores a ChatGPT que no pasarían esta dudosa prueba de olfateo.
La mejor solución para distinguir obras de IA en AO3 ya está disponible: el sólido sistema de etiquetado del sitio. Existe una etiqueta «Creado con IA generativa» y muchos autores la incluyen para revelar el uso de herramientas como Claude. Sin embargo, eso requiere transparencia honesta, y hay pocos incentivos para la honestidad dada la reacción negativa. También vale la pena recordar que se supone que el fanfiction es un pasatiempo, no una industria regulada.
Con estos esfuerzos para evitar que la IA desvíe la atención de la creatividad genuina impulsada por los humanos, los autores que no se ajustan a lo que se considera una calidad de escritura aceptable pueden convertirse en víctimas inocentes de la actual caza de brujas. Al menos un escritor ya se vio atrapado en esto porque otra persona en la que confiaban para editar su fic lo hizo usando a Claude. Entonces, si el próximo fanfic que leas te parece un poco robótico, ten en cuenta que puede que no lo sea. de hecho ser producto de un robot.