Nadella pide frenar urgentemente el avance de la inteligencia artificial

El director ejecutivo de Microsoft, Satya Nadella, ha pedido que se establezcan controles independientes que permitan detener los sistemas avanzados de inteligencia artificial mientras están en funcionamiento. En una declaración publicada el 10 de octubre, distingue entre las capacidades del modelo y las autorizaciones de las que dispone. Este enfoque afecta especialmente a los agentes de inteligencia artificial que acceden a datos de la empresa y realizan operaciones en nombre del usuario.

Nadella propone, en un artículo publicado en su cuenta de X, evaluar los modelos teniendo en cuenta los riesgos que puedan surgir desde dentro de la propia organización. El motivo no es que los modelos sean necesariamente malintencionados. Un elemento potente que acceda a sistemas críticos puede cometer errores o verse afectado por un ataque. Por ello, defiende que el diseño de la seguridad no debe basarse únicamente en las garantías que ofrece el proveedor del modelo.

La propuesta se centra en limitar desde el exterior los datos a los que el modelo puede acceder y las operaciones que puede realizar. Nadella quiere que una persona autorizada pueda pausar o apagar el modelo en pleno funcionamiento. La metáfora del «freno de emergencia» se refiere precisamente a este punto. Por lo tanto, esta declaración no constituye el anuncio de un nuevo producto que Microsoft haya lanzado hoy.

El artículo destaca también los registros observables, junto con la auditoría independiente. Señala que las operaciones significativas deben dejar pruebas legibles para las personas y que no puedan modificarse posteriormente. Además, no considera suficiente que el mismo modelo realice la tarea y verifique su propio resultado. De este modo, pretende que la auditoría se mantenga independiente del sistema que evalúa.

Nadella quiere mantener la autoridad sobre la inteligencia artificial separada del modelo

Podemos explicar la aplicación de este enfoque en el flujo de trabajo diario con un ejemplo. Cuando un representante revisa un documento y propone cambios, la acción que realiza no es lo mismo que la autorización para enviar el archivo al exterior. La organización puede vincular estos dos pasos a permisos distintos. Este ejemplo no describe una nueva característica de Nadella, sino que muestra por qué tiene sentido la separación de autorizaciones que propone.

Baseus Energeek GR11: batería externa que también carga el portátil, 3.823,20 TL en la cesta

Comprar

Apple Watch Series 9: modelo de 41 mm con conexión móvil, 21 849,05 TL en la cesta

Comprar

Havit H2039BG: Auriculares para gamers con tres opciones de conexión, 1.999 TL

Comprar

EZVIZ DP2C: Videoportero con pantalla, 5 999 TL

Comprar

Huawei WiFi Mesh X1 Pro: Wi-Fi 7 y cuatro puertos de 2,5 Gbps, 5.999 TL

Comprar

Ver todo Reducir

Ver todas las ofertas

PUBLICIDAD — Este contenido incluye enlaces de afiliados. Teknoblog puede obtener una comisión por las compras realizadas a través de estos enlaces.

Por otro lado, las reglas de comportamiento definidas en el modelo y los límites de acceso establecidos en el entorno del sistema son herramientas diferentes. Las primeras describen cómo quieres que responda el modelo. Los segundos determinan a qué operaciones puede acceder realmente el modelo. Aquí es donde se pone de manifiesto la diferencia entre que un agente genere una respuesta errónea y que pueda realizar operaciones en un archivo confidencial.

La declaración del NIST de junio también aborda, en el marco de una investigación independiente, el hecho de que la seguridad requiere un mantenimiento continuo. La institución señala que un conjunto fijo de reglas de comportamiento no garantiza una resistencia universal frente a comandos de ataque adaptados. Además, recomienda realizar pruebas de ataque continuas, aplicar actualizaciones para cubrir nuevas vulnerabilidades y estar preparados para limitar el impacto en caso de que se produzca un incidente.

La declaración del NIST no es un estudio que analice una por una las propuestas de Nadella. Sin embargo, ambas fuentes presentan un enfoque que no considera que la tarea de seguridad quede completada con la configuración inicial. Desde el punto de vista de las empresas, la cuestión principal, además de la eficacia de la respuesta del modelo, es a qué datos y procesos tiene acceso. La última evaluación de Nadella también pone de relieve la necesidad de que dicho acceso sea visible y pueda ser bloqueado.