«Los sistemas de IA agente están siendo armados».
Esa es una de las primeras líneas del nuevo informe de inteligencia de amenazas de Anthrope, que hoy detalla la amplia gama de casos en los que Claude, y probablemente muchos otros agentes y chatbots de IA principales, están siendo abusados.
Primero: «Hacacas de ambientes». Un sofisticado anillo de delito cibernético que Anthrope dice que recientemente interrumpió el código Claude usado, el agente de codificación de AI de Anthrope, para extorsionar los datos de al menos 17 organizaciones diferentes en todo el mundo en un mes. Las partes pirateadas incluyeron organizaciones de atención médica, servicios de emergencia, instituciones religiosas e incluso entidades gubernamentales.
«Si eres un actor sofisticado, lo que de otro modo hubiera requerido tal vez un equipo de actores sofisticados, como el caso de hacinamiento de vibrantes, para conducir, ahora, un solo individuo puede conducir, con la ayuda de sistemas de agente», dijo Jacob Klein, jefe del equipo de inteligencia de amenazas de Anthropy, dijo El borde en una entrevista. Agregó que en este caso, Claude estaba «ejecutando la operación de extremo a extremo».
Anthrope escribió en el informe que en casos como este, AI «sirve como un consultor técnico y un operador activo, lo que permite ataques que serían más difíciles y requieren mucho tiempo para que los actores individuales se ejecuten manualmente». Por ejemplo, Claude se usó específicamente para escribir «demandas de extorsión psicológicamente dirigidas». Luego, los ciberdelincuentes descubrieron cuánto valdrían los datos, que incluían datos de atención médica, información financiera, credenciales gubernamentales y más, en la web oscura e hicieron demandas de rescate superiores a $ 500,000, por antrópico.
«Este es el uso más sofisticado de los agentes que he visto … para la ofensiva cibernética», dijo Klein.
En otro estudio de caso, Claude ayudó a los trabajadores de TI de Corea del Norte a obtener fraudulentamente empleos en las empresas Fortune 500 en los EE. UU. Para financiar el programa de armas del país. Por lo general, en tales casos, Corea del Norte intenta aprovechar a las personas que han estado en la universidad, tener su experiencia o tener cierta capacidad para comunicarse en inglés, según Klein, pero dijo que en este caso, la barrera es mucho menor para que las personas en Corea del Norte pasen entrevistas técnicas en grandes empresas tecnológicas y luego mantengan sus trabajos.
Con la ayuda de Claude, Klein dijo: «Estamos viendo personas que no saben cómo escribir código, no saben cómo comunicarse profesionalmente, saber muy poco sobre el idioma o la cultura inglesa, que solo le piden a Claude que haga todo … y luego una vez que consigan el trabajo, la mayor parte del trabajo que están haciendo con Claude mantienen el trabajo».
Otro estudio de caso involucró una estafa romántica. Un bot de telegrama con más de 10,000 usuarios mensuales anunció a Claude como un «modelo de EQ alto» para ayudar a generar mensajes emocionalmente inteligentes, aparentemente para estafas. Permitió a los hablantes de inglés no nativos escribir mensajes persuasivos y complementarios para ganar la confianza de las víctimas en los Estados Unidos, Japón y Corea, y pedirles dinero. Un ejemplo en el informe mostró a un usuario cargando una imagen de un hombre con empate y preguntando cómo complementarlo.
En el informe, el propio Anthrope reconoce que, aunque la compañía ha «desarrollado sofisticadas medidas de seguridad para evitar el mal uso» de su IA, y aunque las medidas son «generalmente efectivas», los malos actores aún a veces logran encontrar formas de evitarlas. Anthrope dice que la IA ha reducido las barreras para el delito cibernético sofisticado y que los malos actores usan la tecnología para perfilar a las víctimas, automatizar sus prácticas, crear identidades falsas, analizar datos robados, robar información de la tarjeta de crédito y más.
Cada uno de los estudios de caso en el informe se suma a la creciente cantidad de evidencia de que las compañías de IA, lo intenten, a menudo no pueden mantenerse al día con los riesgos sociales asociados con la tecnología que están creando y sacando al mundo. «Aunque específicos de Claude, los estudios de caso presentados a continuación probablemente reflejan patrones de comportamiento consistentes en todos los modelos de IA fronterizos», dice el informe.
Anthrope dijo que para cada estudio de caso, prohibió las cuentas asociadas, creó nuevos clasificadores u otras medidas de detección y compartió información con las agencias gubernamentales apropiadas, como las agencias de inteligencia o la aplicación de la ley, confirmó Klein. También dijo que los estudios de caso que vio su equipo son parte de un cambio más amplio en el riesgo de IA.
«Hay este cambio en el que los sistemas de IA no son solo un chatbot porque ahora pueden tomar múltiples pasos», dijo Klein, y agregó: «Son capaces de realizar acciones o actividades como estamos viendo aquí».
0 Comentario