Lenguaje grande moderno Los modelos (LLM) pueden escribir hermosos sonetos y código elegante, pero carecen incluso de una capacidad rudimentaria para aprender de la experiencia.
Los investigadores del Instituto de Tecnología de Massachusetts (MIT) ahora han ideado una manera para que los LLM sigan mejorando ajustando sus propios parámetros en respuesta a una nueva información útil.
El trabajo es un paso hacia la construcción de modelos de inteligencia artificial que aprenden continuamente, un objetivo de larga data del campo y algo que será crucial si las máquinas son para imitar más fielmente la inteligencia humana. Mientras tanto, podría darnos chatbots y otras herramientas de IA que pueden incorporar mejor información, incluidos los intereses y preferencias de un usuario.
El esquema MIT, llamado modelos de lenguaje de auto adaptación (sello), implica que un LLM aprenda a generar sus propios datos de capacitación sintética y el procedimiento de actualización basado en la entrada que recibe.
«La idea inicial era explorar si las tokens [units of text fed to LLMs and generated by them] podría causar una poderosa actualización a un modelo ”, dice Jyothish Pari, un estudiante de doctorado en el MIT involucrado en el desarrollo de SEAL. Pari dice que la idea era ver si la producción de un modelo podría usarse para entrenarlo.
Adam Zweiger, un investigador de pregrado del MIT involucrado en el edificio del sello, agrega que aunque los modelos más nuevos pueden «razonar» su camino hacia mejores soluciones al realizar una inferencia más compleja, el modelo en sí no se beneficia de este razonamiento a largo plazo.
El sello, por el contrario, genera nuevas ideas y luego la dobla en sus propios pesos o parámetros. Dada una declaración sobre los desafíos que enfrentan el Programa de Espacio del Apolo, por ejemplo, el modelo generó nuevos pasajes que intentan describir las implicaciones de la declaración. Los investigadores compararon esto con la forma en que un estudiante humano escribe y revisa notas para ayudar a su aprendizaje.
Luego, el sistema actualizó el modelo usando estos datos y probó qué tan bien el nuevo modelo puede responder un conjunto de preguntas. Y finalmente, esto proporciona una señal de aprendizaje de refuerzo que ayuda a guiar el modelo hacia actualizaciones que mejoran sus habilidades generales y que lo ayudan a continuar con el aprendizaje.
Los investigadores probaron su enfoque en pequeñas y medianas versiones de dos modelos de código abierto, Meta’s Llama y Qwen de Alibaba. Dicen que el enfoque también debería funcionar para modelos fronterizos mucho más grandes.
Los investigadores probaron el enfoque de sello en el texto, así como un punto de referencia llamado ARC que mide la capacidad de un modelo de IA para resolver problemas de razonamiento abstracto. En ambos casos, vieron ese sello permitió que los modelos continuaran aprendiendo mucho más allá de su entrenamiento inicial.
Pulkit Agrawal, un profesor en el MIT que supervisó el trabajo, dice que el Proyecto Seal toca temas importantes en la IA, incluida cómo lograr que AI se entere por sí misma lo que debería tratar de aprender. Él dice que podría usarse para ayudar a que los modelos de IA sean más personalizados. «Los LLM son poderosos, pero no queremos que su conocimiento se detenga», dice.
El sello aún no es una forma para que la IA mejore indefinidamente. Por un lado, como señala Agrawal, los LLMS probados sufren de lo que se conoce como «olvido catastrófico», un efecto preocupante visto al ingerir nueva información hace que el conocimiento más antiguo simplemente desaparezca. Esto puede apuntar a una diferencia fundamental entre las redes neuronales artificiales y las biológicas. Pari y Zweigler también señalan que el sello es computacionalmente intensivo, y aún no tiene claro la mejor manera de programar más efectivamente nuevos períodos de aprendizaje. Una idea divertida, Zweigler menciona, es que, como los humanos, tal vez LLMS podría experimentar períodos de «sueño» donde se consolida nueva información.
Aún así, a pesar de todas sus limitaciones, el sello es un nuevo camino emocionante para una mayor investigación de IA, y puede ser algo que se abre paso en los futuros modelos de IA fronteriza.
¿Qué piensas de la IA que puede seguir aprendiendo? Envíe un correo electrónico a hello@tecnosaud.com para avisarme.