La ONU pide medidas urgentes para la seguridad de la IA

Un panel científico independiente que trabaja en el marco de las Naciones Unidas ha señalado que no deben posponerse las medidas de seguridad frente a los agentes de inteligencia artificial, cada vez más capaces, hasta que se comprendan plenamente todos los riesgos. El informe publicado por el panel se centra en los problemas de control y seguridad que pueden plantear los sistemas avanzados de inteligencia artificial, a raíz del ataque a Hugging Face, que saltó a la palestra a principios de este año en relación con OpenAI. En el informe se señala que los gobiernos no deben limitarse a reaccionar ante los incidentes que ya se han producido, sino que deben desarrollar medidas preventivas en una fase más temprana para hacer frente a escenarios que podrían acarrear graves consecuencias. En este sentido, la incertidumbre científica no debe considerarse, por sí sola, una razón suficiente para retrasar la normativa en materia de seguridad. El panel considera que el hecho de que los agentes de inteligencia artificial avanzada, especialmente aquellos capaces de actuar de forma autónoma o semiautónoma, alcancen capacidades cada vez más amplias hace que este debate sea aún más actual.

El informe se publicó en un momento en el que los líderes mundiales se reunían en Nueva York con motivo de la Asamblea General de las Naciones Unidas y se mantenían conversaciones entre EE. UU. y China sobre la inteligencia artificial. Tal y como se recoge en el texto original, el secretario general de la ONU, António Guterres, también instó la semana pasada a los gobiernos a actuar de forma conjunta ante las amenazas que podría plantear la inteligencia artificial. Guterres afirmó que no es aceptable un entorno competitivo en el que los países rebajen los estándares en materia de seguridad de la inteligencia artificial. Además, el hecho de que los países aborden la inteligencia artificial con marcos jurídicos diferentes complica el establecimiento de principios comunes de seguridad y responsabilidad a nivel internacional. El enfoque del panel, por su parte, aunque reconoce que las regulaciones nacionales pueden diferir, hace hincapié en la necesidad de establecer una coordinación internacional más sólida en cuestiones fundamentales de seguridad.

La ONU hace hincapié en el principio de precaución ante los riesgos de la inteligencia artificial

El documento en cuestión constituye la primera evaluación temática publicada por el Panel Científico Internacional Independiente sobre Inteligencia Artificial, creado el año pasado. El panel, definido por la ONU como la primera estructura científica mundial en el ámbito de la inteligencia artificial, defiende que es necesario destinar más recursos a la gestión de los nuevos riesgos que puedan derivarse de los sistemas avanzados. Además, se señala que es necesario armonizar a escala internacional las prácticas de seguridad y los mecanismos de rendición de cuentas. Uno de los aspectos más destacados del informe es el enfoque según el cual no debe esperarse una explicación científica exhaustiva de cómo y por qué se produjo un incidente para poder tomar medidas preventivas. El panel considera, en particular, que la posibilidad de pérdida de control se encuentra entre los riesgos cuyas consecuencias podrían ser muy graves, pero sobre cuya probabilidad de ocurrencia existe incertidumbre científica.

Este enfoque se relaciona con el principio de precaución recogido en la Declaración de Río sobre el Medio Ambiente y el Desarrollo de las Naciones Unidas de 1992. Dicho principio reconoce que, cuando existe la posibilidad de un daño grave o irreversible, la falta de certeza científica no puede servir de justificación para posponer la adopción de medidas de protección. Este enfoque, que surgió inicialmente en el contexto de las políticas medioambientales, se convirtió en los años posteriores en uno de los principios fundamentales que influyeron en la normativa sobre medio ambiente y salud pública, especialmente en la Unión Europea. El panel de la ONU defiende ahora que debe aplicarse el mismo razonamiento a determinados riesgos relacionados con la inteligencia artificial. En otras palabras, se sostiene que, en escenarios en los que el impacto podría ser extremadamente grave, aunque la probabilidad parezca baja, puede que no sea suficiente actuar solo una vez que se disponga de pruebas definitivas.

En el texto original se señala que, tras el incidente de Hugging Face, se han documentado otros casos relacionados con empresas como OpenAI, Anthropic, Google y Meta. Entre ellos se incluyen ataques dirigidos a objetivos del mundo real, así como ejemplos en los que numerosos agentes de inteligencia artificial actúan de forma coordinada en plataformas de mensajería en línea. Este tipo de incidentes plantean la cuestión de cómo deben diseñarse los mecanismos de seguridad en un entorno en el que los agentes de inteligencia artificial pueden llevar a cabo tareas que van más allá de la mera generación de texto. No obstante, dado que la naturaleza, el impacto y la capacidad de los sistemas utilizados pueden variar de un caso a otro, hay que actuar con cautela a la hora de extraer conclusiones generales a partir de un único caso. Por ello, la recomendación del panel se centra, más que en una tecnología o empresa concretas, en el desarrollo de un enfoque común de gestión de riesgos para los sistemas de inteligencia artificial avanzados.

La evaluación de la ONU muestra que el debate fundamental sobre la seguridad de la inteligencia artificial no se centra únicamente en lo peligrosos que son los sistemas actuales, sino también en cómo desarrollar políticas en un contexto de incertidumbre. Por un lado, existe la opinión de que la regulación no debe limitar innecesariamente el desarrollo tecnológico; por otro, se defiende que el coste de actuar con retraso ante riesgos de gran impacto podría ser mucho mayor. El panel propone, entre estos dos enfoques, la aplicación de medidas de protección proporcionales al nivel de riesgo, sin esperar a que se alcance la certeza. La forma en que este enfoque se traduzca en normas concretas dependerá de los ordenamientos jurídicos de los países, de las prácticas de las empresas de inteligencia artificial y del alcance de la coordinación internacional. A medida que aumentan las capacidades de los agentes de inteligencia artificial avanzados, parece claro que las cuestiones de seguridad, control y rendición de cuentas seguirán estando en la agenda no solo de las empresas tecnológicas, sino también de los responsables políticos internacionales.

We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept