Google DeepMind ha creado un nuevo instituto para la seguridad de la IA general

Investigadores de Google y Google DeepMind han anunciado la creación de una nueva entidad, denominada DeepMind Institute, cuyo objetivo es ampliar el debate sobre el futuro de la inteligencia artificial general. El equipo directivo del instituto está formado por Shane Legg, socio fundador de DeepMind; James Manyika, ejecutivo de Google; y Demis Hassabis, presidente de Google DeepMind. Legg también asumirá el cargo de editor ejecutivo de la iniciativa. El DeepMind Institute no solo pretende compartir las opiniones que surgen dentro de Google y Google DeepMind, sino también dar cabida a los diferentes enfoques que surgen en la comunidad investigadora mundial en materia de inteligencia artificial general. En el comunicado de presentación de la organización se destaca especialmente que los investigadores que colaboran pueden no estar de acuerdo en todos los temas y que las opiniones actuales pueden cambiar a medida que se obtengan nuevos datos de la investigación en inteligencia artificial, que avanza a un ritmo vertiginoso.

La primera publicación del instituto consta de cuatro artículos distintos, cada uno de los cuales se centra en diferentes problemas que podría plantear la inteligencia artificial general. Entre los temas tratados se incluyen las políticas que podrían aplicarse frente a las transformaciones económicas derivadas de la IAG, la preservación de los procesos de razonamiento legibles para los seres humanos en los modelos de inteligencia artificial, los principios destinados a apoyar el desarrollo y el bienestar de las personas, y un marco sobre cómo evaluar los modelos de inteligencia artificial más avanzados. Esta selección de temas demuestra que el debate no se reduce únicamente a la capacidad técnica de los modelos. El amplio marco, que abarca desde las repercusiones económicas hasta los controles de seguridad, aborda de forma conjunta las cuestiones a las que podrían enfrentarse las empresas, los investigadores y los organismos reguladores a medida que avanza el desarrollo de la IA general. Además, en los textos publicados se opta por abrir a debate las ventajas y limitaciones de las distintas opciones, en lugar de ofrecer recetas políticas concretas.

El DeepMind Institute pone sobre la mesa la cuestión de la controlabilidad de los modelos de inteligencia artificial

Uno de los artículos, redactado por los investigadores de seguridad de Google DeepMind Rohin Shah y Anca Dragan, se centra en el problema de que cada vez puede resultar más difícil comprender cómo piensan los modelos avanzados de inteligencia artificial y qué pasos intermedios siguen. Los investigadores sostienen que la reducción de la transparencia en los procesos de razonamiento de los modelos no es una consecuencia inevitable. Si bien las nuevas arquitecturas dan lugar a modelos más potentes, observar y controlar los procesos internos de estos sistemas también puede resultar más difícil. Según Shah y Dragan, los desarrolladores y los reguladores deben evaluar claramente, en este punto, las prioridades entre la seguridad y la capacidad de los modelos. Los autores debaten opciones como limitar el nivel de «profundidad serial opaca» —que se refiere a la cantidad de cálculos secuenciales realizados sin generar un rastro de razonamiento legible para las personas— o exigir a las empresas que desarrollen modelos menos transparentes que demuestren que estos sistemas son igualmente auditables.

En otro artículo escrito por Demis Hassabis se propone la creación de un organismo de normalización con sede en EE. UU. para la evaluación independiente de los modelos de inteligencia artificial más avanzados. Según el marco propuesto por Hassabis, las empresas podrían enviar voluntariamente a evaluación los modelos de alto nivel que desarrollen, como máximo 30 días antes de ponerlos en uso. Una vez que se haya comprobado que el sistema de evaluación es fiable y eficaz, superar dichas pruebas podría convertirse en uno de los requisitos para poner en circulación modelos avanzados de inteligencia artificial en EE. UU. Un sistema de este tipo podría garantizar, sobre todo, el establecimiento de criterios comunes más allá de las propias pruebas de seguridad de las empresas. No obstante, detalles como el alcance de las evaluaciones independientes, qué modelos estarán sujetos a este proceso y cómo se protegerán los secretos comerciales serán determinantes para la viabilidad de este enfoque.

Se prevé que, en una primera fase, la institución propuesta diseñe sus pruebas en colaboración con las empresas de inteligencia artificial y que, posteriormente, elabore sus propias evaluaciones independientes y no divulgadas previamente. El objetivo fundamental de estas pruebas, denominadas «held-out» en el artículo, es evitar que los desarrolladores optimicen específicamente sus modelos según criterios conocidos de antemano. De este modo, la capacidad real y las vulnerabilidades de un modelo podrán analizarse en condiciones en las que las empresas no conozcan de antemano el contenido de las pruebas. Hassabis señala también que, en caso de que aumenten los riesgos, el marco de evaluación podría endurecerse. En la fase más avanzada de este enfoque, entre las opciones se baraja que los principales desarrolladores de inteligencia artificial ralenticen su trabajo de forma coordinada si las medidas de seguridad se quedan rezagadas con respecto al avance tecnológico.

El Game Garaj Slayer R9T con pantalla de 300 Hz tiene un descuento de 10 049,90 TL en la cesta

Comprar

Barra de sonido LG S40T con 300 W de potencia de sonido, por 7.318,80 TL en la cesta

Comprar

Next Stick 4K con Google TV, con un descuento de 464,55 TL en la cesta

Comprar

Auriculares supraaurales QCY H3 con ANC de 43 dB por 1.398 TL en la cesta

Comprar

Auriculares Havit TW984 con ANC, a 636,65 TL con un 15 % de descuento en la cesta

Comprar

Ver todo Filtrar

Ver todas las ofertas

PUBLICIDAD — Este contenido incluye enlaces de afiliación. Teknoblog puede obtener una comisión por las compras realizadas a través de estos enlaces.

Los primeros documentos del DeepMind Institute se publican en un momento en el que el debate sobre la seguridad de la inteligencia artificial está pasando de las advertencias generales sobre riesgos a propuestas más concretas de auditoría y evaluación. Últimamente, en el sector se plantean con mayor frecuencia opciones como que los desarrolladores de modelos revelen más información, que organizaciones externas puedan examinar los sistemas y que se reduzca el ritmo de desarrollo cuando los mecanismos de seguridad no sean suficientes. Según el texto original, este debate ha cobrado mayor relevancia en los últimos días, tras el apoyo recibido por parte de algunas figuras del sector al llamamiento del director ejecutivo de Anthropic, Dario Amodei, para que se regule de forma controlada el ritmo de desarrollo de los sistemas de inteligencia artificial más avanzados. No obstante, aún no está claro cómo se establecerá el equilibrio entre los compromisos de seguridad voluntarios de las empresas y las regulaciones vinculantes. Por su parte, el DeepMind Institute, a juzgar por sus primeras publicaciones, más que presentar una única visión corporativa sobre la IA general (AGI), pretende crear un espacio de debate en el que se puedan comparar diferentes enfoques, desde la seguridad técnica hasta las políticas económicas.