OpenAI anunció que ha lanzado un nuevo programa para evaluar la seguridad de los modelos de inteligencia artificial con expertos independientes. La empresa se ha asociado con Apollo Research, Goodfire, METR y Transluce para brindar a sus investigadores acceso a una variedad de recursos dentro de la empresa, incluidos modelos, procesos de capacitación y sistemas de seguridad inéditos de OpenAI.
abierta AI, “evaluaciones integradas” Con el nuevo enfoque que pide, permitirá a investigadores independientes realizar evaluaciones de seguridad dentro de la empresa. Los investigadores tendrán acceso a diferentes etapas de desarrollo y códigos fuente de modelos de inteligencia artificial en función del alcance de su trabajo. También podrán revisar datos de formación y evaluación, sistemas de seguimiento y documentación técnica. Además, los investigadores podrán reunirse con los ingenieros e investigadores de OpenAI. Con este método, la empresa pretende que expertos independientes detecten problemas que sus propias pruebas de seguridad pueden pasar por alto.
Una de las partes más llamativas del programa es Investigación Apolo El trabajo se realizará con. Apollo Research investigará si los modelos pueden actuar de forma encubierta contra las intenciones de sus desarrolladores y si los sistemas de seguridad de OpenAI pueden detectar este comportamiento. La evaluación examinará si la capacitación alienta a los modelos a eludir las medidas de seguridad, si las pruebas de seguridad pueden revelar tal comportamiento, si los modelos intentan hacerlo durante el uso dentro de la empresa y si se puede identificar el razonamiento detrás de estos comportamientos.
Según la información compartida, uno de los principales riesgos aquí investigados es «“Subversión de la IA” Se define como. El concepto se refiere a un modelo de IA que intenta socavar los mecanismos de seguridad y alineación creados para mantenerse a sí mismo o a los modelos futuros bajo control humano. Se afirma que este riesgo se ha vuelto más importante a medida que los modelos de inteligencia artificial pueden actuar de manera más autónoma y ha mejorado su capacidad para engañar a las personas.
Dentro del alcance del programa, otras organizaciones también se centrarán en diferentes áreas. Buen fuego, analizando el funcionamiento interno de los modelos. Seguimiento de los procesos de formación, detección de comportamientos defectuosos. y mejorando la alineación del modelo trabajará en ello. METRO, investigará comportamientos desadaptativos que las pruebas existentes de la compañía pueden haber pasado por alto en uno de los procesos de capacitación de aprendizaje por refuerzo más grandes de OpenAI. Además, también se evaluará la eficacia de los sistemas de seguimiento que utiliza OpenAI para detectar estos comportamientos. translúcido Examinará la calidad y el alcance de las evaluaciones de seguridad utilizadas después de la capacitación. También está previsto realizar un estudio más completo con Transluce durante aproximadamente ocho semanas a principios de 2027.
Dado que los investigadores independientes tienen acceso a datos confidenciales de la empresa, una parte importante del trabajo se llevará a cabo en las oficinas de OpenAI y con dispositivos proporcionados por la empresa. Los investigadores podrán publicar sus hallazgos de forma independiente, pero OpenAI no podrá publicarlos comercialmente. puede censurar información sensible y publicación de hallazgos que crean vulnerabilidades de seguridad ser pospuesto puede querer. El Comité de Seguridad de la Compañía podrá revisar la versión completa de los informes de evaluación sin eliminar ninguna información.
Por otro lado, también se discute hasta qué punto el programa es independiente. Apollo Research sostiene que para una evaluación verdaderamente independiente, los investigadores deberían tener un nivel similar de acceso a los empleados. En el primer estudio piloto, el acceso se limitará únicamente a modelos, períodos y temas de investigación predeterminados. OpenAI también puede restringir el acceso a cierta información por motivos técnicos, de seguridad o de propiedad intelectual.
Apollo Research considera que el programa actual es un primer paso importante hacia evaluaciones independientes más completas. Sin embargo, OpenAI señala que Apollo Research y Goodfire reciben honorarios por los estudios, pero estos honorarios no están vinculados a los resultados de la evaluación. METR y Transluce no reciben pago por los estudios; pero puede aceptar recursos informáticos o créditos API.
OpenAI tiene como objetivo ampliar el alcance de las evaluaciones independientes con las experiencias adquiridas en la primera fase. La empresa afirma que en el futuro, además del cumplimiento de los marcos de seguridad, la cultura y los procesos corporativos de OpenAI también podrán ser evaluados por expertos externos.