Metaestá en la agenda con un nuevo incidente que revela los riesgos de seguridad que se experimentan en los sistemas de atención al cliente respaldados por inteligencia artificial. Según el método revelado por los investigadores de seguridad, los atacantes manipularon el robot de soporte respaldado por inteligencia artificial de Meta y Instagram pudo obtener acceso no autorizado a sus cuentas.
Según la investigación, el ataque no fue causado directamente por una vulnerabilidad de seguridad en la infraestructura de Instagram, sino por engañar al sistema de inteligencia artificial utilizado en los procesos de soporte. Los atacantes lograron hacerse pasar por el verdadero propietario de la cuenta utilizando información falsa y redireccionamientos en sus conversaciones con el robot de soporte. En ciertos casos, el sistema de inteligencia artificial procesó estas solicitudes sin una verificación suficiente, allanando el camino para el abuso de los procesos de acceso a las cuentas.
El fenómeno se ha generalizado en los últimos tiempos. inyección inmediata y se considera un nuevo ejemplo de ataques de inteligencia artificial basados en ingeniería social. El objetivo aquí es manipular el mecanismo de toma de decisiones de la inteligencia artificial, en lugar de explotar directamente una vulnerabilidad del software. Según los expertos, a medida que los sistemas de inteligencia artificial se utilicen más en los procesos de atención al cliente, soporte y autenticación, el número de ataques similares puede aumentar. Meta anunció que después de que se detectó el problema, cerró la vulnerabilidad relevante e implementó medidas de seguridad adicionales. La compañía también dijo que está aumentando la supervisión humana de la recuperación de cuentas y las solicitudes de acceso.
El incidente muestra que la integración de la inteligencia artificial en los procesos de atención al cliente puede generar eficiencia operativa y al mismo tiempo generar nuevos riesgos de seguridad. Una vez más se ha revelado que confiar únicamente en mecanismos de decisión basados en inteligencia artificial, especialmente en transacciones relacionadas con el acceso a cuentas, la autenticación y los datos de los usuarios, conlleva riesgos importantes.