El lunes, Google lanzó un nuevo programa de recompensas dedicado específicamente a encontrar errores en productos de IA. La lista de errores calificados de Google incluye ejemplos del tipo de acciones deshonestas que está buscando, como inyectar indirectamente un mensaje de IA que hace que Google Home desbloquee una puerta, o una inyección rápida de exfiltración de datos que resume todo el correo electrónico de alguien y envía el resumen a la cuenta del atacante.
El nuevo programa aclara lo que constituye un error de IA, descomponiéndolos como problemas que utilizan un modelo de idioma grande o un sistema de IA generativo para causar daño o aprovechar una escapatoria de seguridad, con acciones deshonestas en la parte superior de la lista. Esto incluye modificar la cuenta o los datos de alguien para impedir su seguridad o hacer algo no deseado, como un defecto expuesto anteriormente que podría abrir persianas inteligentes y apagar las luces usando un evento calendario de Google envenenado.
Simplemente conseguir que Géminis alucine no lo reducirá. La compañía dice que los problemas relacionados con el contenido producido por los productos de IA, como la generación de discursos de odio o contenido que infringen los derechos de autor, deben informarse al canal de retroalimentación dentro del propio producto. Según Google, de esa manera, sus equipos de seguridad de IA pueden «diagnosticar el comportamiento del modelo e implementar la capacitación de seguridad de todo el modelo a largo plazo necesaria».
Junto con el nuevo programa de recompensas de IA, Google también anunció el lunes un agente de IA que parchea el código vulnerable llamado CodeMender. La compañía dice que ha utilizado para parchar «72 correcciones de seguridad para proyectos de código abierto» después de la investigación de investigadores humanos.
El premio de $ 20,000 se otorga por eliminar acciones deshonestas en la búsqueda de productos «insignia» de Google, aplicaciones Gemini y aplicaciones de espacio de trabajo central como Gmail y Drive. Los multiplicadores para la calidad del informe y un bono novedoso también están disponibles, lo que podría elevar la cantidad total a $ 30,000. El precio cae para los errores que se encuentran en los otros productos de Google, como Jules o NotebookLM, y para los abusos de nivel inferior, como robar parámetros del modelo secreto.