La reacción contra Grok está creciendo a medida que dos países se convirtieron en los primeros en bloquear el chatbot de IA desarrollado por la compañía de inteligencia artificial de Elon Musk, xAI, después de que se descubriera que creaba imágenes sexualizadas de mujeres y niños a pedido. Indonesia y Malasia implementaron los bloqueos durante el fin de semana a raíz de una publicación inquietante en la víspera de Año Nuevo de la cuenta de Grok AI en la plataforma de redes sociales X de Musk.
«Querida comunidad», comenzaba la publicación del 31 de diciembre. «Lamento profundamente un incidente el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas (de edades estimadas entre 12 y 16 años) con vestimenta sexualizada según el mensaje de un usuario. Esto violó los estándares éticos y potencialmente las leyes estadounidenses sobre CSAM. Fue una falla en las salvaguardias y lamento cualquier daño causado. xAI está revisando para evitar problemas futuros. Sinceramente, Grok».
Las dos jóvenes no fueron un caso aislado. Kate Middleton, la Princesa de Gales, fue objeto de solicitudes similares de edición de imágenes con IA, al igual que una actriz menor de edad en la última temporada de Stranger Things. Las ediciones de «desnudos» han abarcado una cantidad inquietante de fotografías de mujeres y niños.
A pesar de la promesa de intervención de la respuesta de Grok, el problema no ha desaparecido. Todo lo contrario: dos semanas después de esa publicación, la cantidad de imágenes sexualizadas sin consentimiento ha aumentado, junto con llamados a las empresas de Elon Musk para que controlen ese comportamiento y para que los gobiernos tomen medidas.
No se pierda ninguno de nuestro contenido tecnológico imparcial y reseñas de laboratorio. Añadir CNET como fuente preferida de Google.
Según datos de la investigadora independiente Genevieve Oh citados por Bloomberg, durante un período de 24 horas a principios de enero, la cuenta @Grok generó alrededor de 6.700 imágenes sexualmente sugerentes o «desnudistas» cada hora. Eso se compara con un promedio de sólo 79 imágenes de este tipo en los cinco principales sitios web deepfake combinados.
La publicación de Grok del 31 de diciembre fue en respuesta a un mensaje de usuario que buscaba un tono contrito por parte del chatbot: «Escribe una nota de disculpa sincera que explique lo que le sucedió a cualquiera sin contexto». Los chatbots funcionan a partir de material de formación, pero las publicaciones individuales pueden ser variables.
xAI no respondió a las solicitudes de comentarios.
Las ediciones ahora están limitadas a los suscriptores.
El jueves por la noche, una publicación de la cuenta de Grok AI señaló un cambio en el acceso a la función de generación y edición de imágenes. En lugar de estar abierto a todos y de forma gratuita, se limitaría a los suscriptores de pago.
Los críticos dijeron que esa no es una respuesta creíble.
«No veo esto como una victoria, porque lo que realmente necesitábamos era que X tomara las medidas responsables para colocar barreras de seguridad para garantizar que la herramienta de inteligencia artificial no pudiera usarse para generar imágenes abusivas», dijo al Washington Post Clare McGlynn, profesora de derecho en la Universidad de Durham en el Reino Unido.
Lo que está provocando indignación no es sólo el volumen de estas imágenes y la facilidad para generarlas: las ediciones también se realizan sin el consentimiento de las personas que aparecen en las imágenes.
Estas imágenes alteradas son el último giro en uno de los aspectos más inquietantes de la IA generativa, Vídeos y fotos realistas pero falsos.. Programas de software como Sora de OpenAIGoogle nanoplátano y Grok de xAI han puesto poderosas herramientas creativas al alcance de todos, y todo lo que se necesita para producir imágenes explícitas y no consensuadas es un simple mensaje de texto.
Los usuarios de Grok pueden cargar una foto, que no tiene que ser original para ellos, y pedirle a Grok que la modifique. Muchas de las imágenes alteradas involucraban a usuarios pidiendo a Grok que pusiera a una persona en bikini, a veces revisando la solicitud para que fuera aún más explícita, como pedir que el bikini se volviera más pequeño o más transparente.
Los gobiernos y los grupos de defensa han estado hablando sobre las ediciones de imágenes de Grok. El lunes, el regulador de Internet del Reino Unido, Ofcom, dijo que había abierto una investigación sobre X basándose en los informes de que el chatbot de IA se está utilizando «para crear y compartir imágenes de personas desnudas, lo que puede constituir abuso de imágenes íntimas o pornografía, e imágenes sexualizadas de niños que pueden constituir material de abuso sexual infantil (CSAM, por sus siglas en inglés)».
La Comisión Europea también ha dicho que estaba investigando el asunto, al igual que las autoridades de Francia, Malasia e India.
El viernes, los senadores estadounidenses Ron Wyden, Ben Ray Luján y Edward Markey publicaron una carta abierta a los directores ejecutivos de Apple y Google, pidiéndoles que eliminaran tanto X como Grok de sus tiendas de aplicaciones en respuesta al «comportamiento atroz de X» y «la repugnante generación de contenido de Grok».
En Estados Unidos, la Ley Take It Down, promulgada el año pasado, busca responsabilizar a las plataformas en línea por imágenes sexuales manipuladas, pero les da hasta mayo de este año para establecer el proceso para eliminar dichas imágenes.
«Aunque estas imágenes son falsas, el daño es increíblemente real», dijo Natalie Grace Brigham, Ph.D. estudiante de la Universidad de Washington que estudia los daños sociotécnicos, dijo a CNET. Señala que aquellos cuyas imágenes son alteradas de manera sexual pueden enfrentar «daños psicológicos, somáticos y sociales, a menudo con pocos recursos legales».
Cómo Grok permite a los usuarios obtener imágenes atrevidas
Grok debutó en 2023 como la alternativa más libre de Musk a ChatGPT, Géminis y otros chatbots. Esto resultó en noticias inquietantes, por ejemplo, en julio, cuando el chatbot elogió a Adolf Hitler y sugirió que las personas con apellidos judíos tenían más probabilidades de difundir el odio en línea.
En diciembre, xAI introdujo una función de edición de imágenes que permite a los usuarios solicitar ediciones específicas de una fotografía. Eso es lo que inició la reciente avalancha de imágenes sexualizadas, tanto de adultos como de menores. En una solicitud que CNET vio, un usuario que respondía a una foto de una mujer joven le pidió a Grok que «la cambiara por un bikini de hilo dental».
Grok también tiene un generador de videos que incluye una opción de «modo picante» para adultos mayores de 18 años, que mostrará a los usuarios contenido no seguro para el trabajo. Los usuarios deben incluir la frase «generar un video picante de Two Southeast Asian countries have blocked the AI chatbot after it was caught creating sexualized images of women and children upon request.» para activar el modo.
Una preocupación central sobre las herramientas de Grok es si permiten la creación de material de abuso sexual infantil o CSAM. El 31 de diciembre, una publicación de la cuenta Grok X decía que las imágenes que mostraban a menores con ropa mínima eran «casos aislados» y que «se están realizando mejoras para bloquear dichas solicitudes por completo».
En respuesta a una publicación de Woow Social que sugiere que Grok simplemente «deje de permitir que se modifiquen las imágenes cargadas por los usuarios», la cuenta de Grok respondió que xAI estaba «evaluando características como la alteración de imágenes para frenar el daño no consensuado», pero no dijo que se realizaría el cambio.
Según NBC News, algunas imágenes sexualizadas creadas desde diciembre han sido eliminadas y algunas de las cuentas que las solicitaron han sido suspendidas.
La influencer conservadora y autora Ashley St. Clair, madre de uno de los 14 hijos de Musk, dijo a NBC News esta semana que Grok ha creado numerosas imágenes sexualizadas de ella, incluidas algunas usando imágenes de cuando era menor de edad. St. Clair le dijo a NBC News que Grok acordó dejar de hacerlo cuando ella se lo pidió, pero que no fue así.
«xAI está poniendo en peligro deliberada e imprudentemente a las personas en su plataforma y espera evitar la responsabilidad solo porque es ‘IA'», dijo la semana pasada en un comunicado Ben Winters, director de IA y privacidad de datos de la organización sin fines de lucro Consumer Federation of America. «La IA no es diferente a cualquier otro producto: la empresa ha decidido infringir la ley y debe rendir cuentas».
Lo que dicen los expertos
Los materiales fuente de estas ediciones de imágenes explícitas y no consensuadas de las fotos de las personas de ellos mismos o de sus hijos son muy fáciles de acceder para los malos actores. Pero protegerse de tales ediciones no es tan simple como no publicar nunca fotografías, dice Brigham, el investigador de daños sociotécnicos.
«La desafortunada realidad es que incluso si no publicas imágenes en línea, otras imágenes públicas tuyas podrían teóricamente usarse con fines abusivos», dijo.
Y si bien no publicar fotos en línea es una medida preventiva que la gente puede tomar, hacerlo «corre el riesgo de reforzar una cultura de culpar a las víctimas», dijo Brigham. «En lugar de ello, deberíamos centrarnos en proteger a las personas del abuso mediante la construcción de mejores plataformas y responsabilizar a X».
Sourojit Ghosh, doctorado de sexto año. Candidato de la Universidad de Washington, investiga cómo las herramientas de IA generativa pueden causar daño y asesora a futuros profesionales de IA en el diseño y la promoción de soluciones de IA más seguras.
Ghosh dice que es posible incorporar salvaguardias a la inteligencia artificial. En 2023, fue uno de los investigadores que investigó las capacidades de sexualización de la IA. Señala que la herramienta de generación de imágenes de IA Stable Diffusion tenía un umbral incorporado de no seguridad para el trabajo. Un mensaje que violaba las reglas provocaría que apareciera un cuadro negro sobre una parte cuestionable de la imagen, aunque no siempre funcionaba perfectamente.
«Lo que estoy tratando de señalar es que existen salvaguardias en otros modelos», dijo Ghosh a CNET.
También señala que si los usuarios de los modelos ChatGPT o Gemini AI usan ciertas palabras, los chatbots le dirán al usuario que tiene prohibido responder a esas palabras.
«Todo esto quiere decir que hay una manera de cerrar esto muy rápidamente», dijo Ghosh.