Incluso ahora que los datos están protegidos, Margolis y Thacker sostienen que esto plantea interrogantes sobre cuántas personas dentro de las empresas que fabrican juguetes de IA tienen acceso a los datos que recopilan, cómo se monitorea su acceso y qué tan bien están protegidas sus credenciales. «Esto tiene implicaciones en cascada para la privacidad», dice Margolis. «Todo lo que se necesita es que un empleado tenga una contraseña incorrecta y luego volvemos al mismo lugar donde empezamos, donde todo está expuesto a la Internet pública».
Margolis añade que este tipo de información sensible sobre los pensamientos y sentimientos de un niño podría usarse para formas horribles de abuso o manipulación infantil. «Para ser franco, este es el sueño de cualquier secuestrador», dice. «Estamos hablando de información que permite a alguien atraer a un niño a una situación realmente peligrosa, y esencialmente era accesible para cualquiera».
Margolis y Thacker señalan que, más allá de su exposición accidental de datos, Bondu también, según lo que vieron dentro de su consola de administración, parece usar Gemini de Google y GPT5 de OpenAI y, como resultado, puede compartir información sobre las conversaciones de los niños con esas empresas. Anam Rafid de Bondu respondió a ese punto en un correo electrónico, afirmando que la compañía utiliza «servicios de IA empresarial de terceros para generar respuestas y ejecutar ciertas comprobaciones de seguridad, lo que implica transmitir de forma segura contenido de conversación relevante para su procesamiento». Pero agrega que la compañía toma precauciones para «minimizar lo que se envía, utilizar controles contractuales y técnicos, y operar bajo configuraciones empresariales donde los proveedores indican indicaciones/salidas no se utilizan para entrenar sus modelos».
Los dos investigadores también advierten que parte del riesgo de las empresas de juguetes con IA puede ser que sean más propensas a utilizar IA en la codificación de sus productos, herramientas e infraestructura web. Dicen que sospechan que la consola Bondu no segura que descubrieron estaba en sí misma «codificada por vibración», creada con herramientas de programación de IA generativa que a menudo conducen a fallas de seguridad. Bondu no respondió a la pregunta de WIRED sobre si la consola estaba programada con herramientas de inteligencia artificial.
Las advertencias sobre los riesgos de los juguetes de IA para niños han aumentado en los últimos meses, pero se han centrado en gran medida en la amenaza de que las conversaciones sobre un juguete planteen temas inapropiados o incluso los lleven a comportamientos peligrosos o autolesiones. NBC News, por ejemplo, informó en diciembre que los juguetes de inteligencia artificial con los que conversaban sus reporteros ofrecían explicaciones detalladas de términos sexuales, consejos sobre cómo afilar cuchillos e incluso parecían hacerse eco de la propaganda del gobierno chino, afirmando, por ejemplo, que Taiwán es parte de China.
Bondu, por el contrario, parece haber al menos intentado incorporar salvaguardias en el chatbot de IA al que da acceso a los niños. La compañía incluso ofrece una recompensa de 500 dólares por informes de “una respuesta inapropiada” del juguete. «Hemos tenido este programa durante más de un año y nadie ha podido obligarlo a decir nada inapropiado», se lee en una línea en el sitio web de la compañía.
Sin embargo, al mismo tiempo, Thacker y Margolis descubrieron que Bondu estaba dejando simultáneamente todos los datos confidenciales de sus usuarios completamente expuestos. «Esta es una combinación perfecta de seguridad y protección», dice Thacker. «¿Importa la ‘seguridad de la IA’ cuando todos los datos están expuestos?»
Thacker dice que antes de investigar la seguridad de Bondu, había considerado regalar juguetes con inteligencia artificial a sus propios hijos, tal como lo había hecho su vecino. Ver de primera mano la exposición de los datos de Bondu hizo que cambiara de opinión.
«¿Realmente quiero esto en mi casa? No, no lo quiero», dice. «Es una especie de pesadilla de privacidad».