China ha redactado una amplia normativa que exige la intervención humana contra las expresiones de suicidio y autolesión en los chatbots de inteligencia artificial. Las normas abarcan todos los chatbots públicos y exigen que se notifique a los tutores cuando se detecten expresiones de riesgo. El borrador incluye obligaciones de seguridad adicionales para niños y ancianos. La normativa refleja el nuevo enfoque chino del control de contenidos digitales, centrado en los riesgos psicológicos.
El texto se centra directamente en los chatbots que interactúan de forma similar a los humanos. El texto esboza un marco común para los sistemas que se comunican de forma visual, audible o escrita. Sin embargo, limita explícitamente la capacidad de los chatbots para manipular emocionalmente al usuario. En concreto, se pide al sistema que se detenga automáticamente cuando aparezcan expresiones suicidas o autolesivas en la conversación. Entonces se produce la intervención humana y se envía una notificación a un tutor registrado. Esta estructura incluye capas adicionales de seguridad para niños y usuarios mayores.
Las normas no se limitan a los riesgos graves. También se prohíben explícitamente los juegos de azar, la obscenidad y los contenidos que fomenten conductas delictivas. Los bots de chat también tienen prohibido insultar a los usuarios o hacer promesas engañosas. El texto dedica un apartado especial a las «trampas emocionales». Se afirma que tales incitaciones llevan al usuario a tomar decisiones irracionales. Así, el control de contenidos va más allá de los filtros clásicos.
Por otro lado, se prohíbe explícitamente el diseño de chatbots de inteligencia artificial para crear adicción. El proyecto exige que los sistemas muestren un mensaje de advertencia cuando el tiempo de uso supere las dos horas. Estas advertencias están diseñadas para indicar al usuario que se tome un descanso. Además, los desarrolladores no pueden utilizar diseños para eludir estas advertencias. Así se evita que las interacciones a largo plazo continúen de forma incontrolada. Este planteamiento responde directamente al reciente debate mundial sobre la dependencia.
China ordena la intervención humana en los chatbots de inteligencia artificial
El proyecto también introduce obligaciones adicionales para los servicios con grandes bases de usuarios. Las plataformas con más de un millón de usuarios registrados o cien mil usuarios activos mensuales se someten a auditorías de seguridad anuales. Durante estas auditorías se registran detalladamente las quejas de los usuarios. Además, es obligatorio simplificar los procesos de notificación de quejas. A las empresas que no cumplan las normas se les bloquea el acceso a las tiendas de aplicaciones. Esta sanción constituye un factor decisivo para las empresas mundiales que deseen operar en el mercado chino.
El proyecto de reglamento también afecta de cerca a la industria mundial de la inteligencia artificial. En los últimos años, las demandas contra chatbots han hecho más visibles los riesgos para la salud mental. En este proceso, especialmente ChatGPT Sistemas muy utilizados, como ChatGPT, han estado en el centro de la polémica. OpenAI, el desarrollador de ChatGPT, se enfrentó a acusaciones de medidas de seguridad insuficientes en algunos casos. El consejero delegado de la empresa, Sam Altman, ha hecho público anteriormente que están abiertos a trabajar con el mercado chino. Sin embargo, este proyecto establece un marco nuevo y vinculante para todas las empresas que deseen operar en China.
Este paso dado por China demuestra que los chatbots de inteligencia artificial se están abordando no sólo desde el punto de vista técnico, sino también con sus repercusiones sociales. Las normas cubren una amplia gama de áreas, desde el diseño del producto por parte de los desarrolladores hasta la interacción con el usuario. Además, destaca la centralización de la vigilancia humana. La finalización del borrador cambiará directamente el funcionamiento de los chatbots en el mercado chino. Una vez concluido el proceso, se espera que la normativa sirva de referencia para los debates mundiales.
