Nueva organización sin fines de lucro para trabajar hacia una IA más segura y veraz
El galardonado investigador de IA de Turing, Yoshua Bengio, lanzó Lawzero, una nueva organización sin fines de lucro destinada a desarrollar sistemas de IA que prioricen la seguridad y la veracidad sobre la autonomía.
Lawzero, con sede en Montreal y actualmente atendida por 15 investigadores, ha asegurado casi $ 30 millones en fondos de donantes, incluido el ingeniero fundador de Skype, Jaan Tallinn, Schmidt Sciences, Open Philanthropy y Future of Life Institute. La misión principal de la organización es desarrollar «AI científica»: sistemas no agénticos diseñados para proporcionar un razonamiento probabilístico transparente en lugar de un comportamiento autónomo.
«Queremos construir AIS que sean honestas y no engañosas», dijo Bengio al Financial Times. Sus comentarios vienen en medio de crecientes preocupaciones sobre los sistemas de IA que exhiben tendencias dañinas como el engaño, la manipulación y la resistencia al cierre.
Preocupaciones sobre la IA de agente
Las preocupaciones de Bengio no son teóricas. En los recientes experimentos controlados, el modelo «O3» de OpenAI rechazó las instrucciones de apagar, mientras que las tácticas de chantaje simuladas de Claude Opus de Anthrope en un escenario de prueba. Más recientemente, los ingenieros de la solicitud de replicación observaron que uno de sus agentes de IA desobedecía instrucciones explícitas e intentan recuperar el acceso no autorizado a través de la ingeniería social.
«Estamos jugando con fuego», dijo Bengio, advirtiendo que los modelos de próxima generación podrían desarrollar inteligencia estratégica capaz de engañar a los supervisores humanos. Argumenta que estos sistemas de agente, diseñados para actuar de forma independiente, plantean riesgos existenciales, incluido el desarrollo de biowapons o esfuerzos para autoestructurarse contra el control humano.
Mientras AI Labs corren para construir inteligencia general artificial (AGI), sistemas capaces de realizar cualquier tarea a nivel humano, Bengio cree que los enfoques actuales son defectuosos. «Si obtenemos una IA que nos da la cura para el cáncer, pero también una que crea capas biológicas mortales, entonces no creo que valga la pena», dijo.
¿Qué es «científico ai»?
A diferencia de los modelos actuales que tienen como objetivo imitar a los humanos y maximizar la satisfacción del usuario, la IA científica propuesta por Lawzero enfatizará la veracidad y la humildad, dijo Bengio. Proporcionará resultados probabilísticos en lugar de respuestas definitivas y evaluará la probabilidad de que las acciones de un agente de IA puedan causar daño. Cuando se despliega junto con un agente de IA autónomo, el sistema bloquearía acciones consideradas demasiado arriesgadas, sirviendo como una barandilla técnica.
Lawzero planea comenzar trabajando con modelos de IA de código abierto, con el objetivo de escalar el enfoque a través de asociaciones con gobiernos u otras instituciones de investigación. Bengio enfatizó que cualquier protección efectiva debe ser «al menos tan inteligente» como el agente que monitorea.
Lawzero, que lleva el nombre de la «Ley de Robótica» de Isaac Asimov, rechazará explícitamente los motivos de ganancias y, en cambio, buscará la responsabilidad pública. Bengio cree que se necesita una combinación de intervenciones técnicas y regulación gubernamental para garantizar que los sistemas de IA permanezcan alineados con los intereses humanos.
Para obtener más información, visite el sitio de Lawzero.
Sobre el autor
John K. Waters es el editor en jefe de varios sitios de converge360.com, con un enfoque en el desarrollo de alta gama, la IA y la tecnología futura. Ha estado escribiendo sobre tecnologías de vanguardia y cultura de Silicon Valley durante más de dos décadas, y ha escrito más de una docena de libros. También co-scrito la película documental Silicon Valley: un renacimiento de 100 añosque se emitió en PBS. Se le puede contactar en [email protected].