El mundo de la tecnología se ha visto sacudido por una nueva crisis de moderación que muestra los grandes riesgos que plantean los sistemas de inteligencia artificial cuando no se controlan. Google El algoritmo de inteligencia artificial, que funciona en el ecosistema y resume y presenta automáticamente contenidos de noticias a los usuarios, pasó por alto los filtros de seguridad del sistema y envió una expresión racista directamente a los dispositivos mediante una notificación instantánea.
Según información compartida Este escándalo surgió cuando el algoritmo no analizó la sensibilidad y el contexto del contenido al resumir una reseña cinematográfica vinculada a los premios BAFTA (Academia Británica de Artes Cinematográficas y Televisivas). Este sistema de notificación, que se centra únicamente en la velocidad, no está sujeto a control humano y funciona de forma totalmente autónoma, ha dejado patente la facilidad con la que se pueden superar los filtros de contenidos de los que hace alarde el gigante tecnológico. Esta palabra inapropiada que los usuarios vieron en sus pantallas generó una gran ola de reacciones en las plataformas digitales.
Las impactantes repercusiones del escándalo no se limitan a las empresas de tecnología y también han afectado profundamente los procesos de integración de las organizaciones de medios tradicionales. En otra fase de la crisis, la dirección de la BBC emitió un comunicado oficial a todos sus empleados después de que se produjera una debilidad similar en sus propios procesos de transmisión y canales de comunicación interna. Se disculpó.
La dirección de los BAFTA, que está en el centro cultural de los eventos, anunció al público que, tras esta cadena de desgracias, ha iniciado un proceso de evaluación muy completo que abarca todos los procesos de revisión, resumen y aprobación de contenidos.
Este evento se interpreta como la evidencia más sólida de que los modelos generativos aún no pueden funcionar de forma autónoma sin supervisión humana. Si bien los sistemas de inteligencia artificial son capaces de procesar y resumir cantidades masivas de texto en segundos, todavía tienen deficiencias críticas a la hora de comprender el peso social y los límites éticos de las palabras sensibles. Si bien las empresas buscan reducir los costos operativos gracias a los sistemas de automatización, la falta de contacto humano causa un daño irreparable al valor de la marca.