Google presentó sus nuevas herramientas y funciones de código abierto, especialmente Agent Sandbox. Las herramientas y funciones presentadas en la conferencia KubeCon + CloudNativeCon North America en Atlanta están diseñadas para simplificar el funcionamiento de los entornos de IA.
Detalles del agente Sandbox
Google lanzó hoy Agent Sandbox de código abierto, diseñado para simplificar la creación de entornos sandbox de agentes de IA. Con Agent Sandbox, implementado como una extensión del conjunto de funciones principales de Kubernetes, se pueden implementar aplicaciones de inteligencia artificial y miles de entornos de agentes de inteligencia artificial aislados. Además, estos entornos se pueden eliminar cuando los agentes completen su trabajo.
Cabe señalar que Agent Sandbox se basa en una herramienta de código abierto llamada gVisor, que Google lanzó en 2018. gVisor aísla un contenedor de los componentes sensibles del sistema operativo en el que se ejecuta, evitando así que el malware escrito por inteligencia artificial que pueda estar ejecutándose dentro del contenedor realice cambios dañinos.
Por cierto, cabe señalar que Google Cloud brindará soporte para Agent Sandbox en su servicio GKE, que permite a los desarrolladores crear clústeres de Kubernetes basados en la nube. Además, el servicio automatiza muchas de las tareas relevantes de mantenimiento de la infraestructura.
Instantáneas de pods
Además, con el objetivo de mejorar aún más el rendimiento de las cargas de trabajo de inteligencia artificial, Google Cloud presenta una función de GKE llamada Pod Snapshots, que se presentó ayer. Según la información compartida por Google; Si bien algunos modelos de lenguajes principales pueden tardar más de 10 minutos en iniciarse, Pod Snapshots reduce los tiempos de inicio en un 80 por ciento en algunos casos.
De hecho, iniciar un LLM puede llevar mucho tiempo porque los contenedores en los que operan deben iniciarse desde cero. En este proceso, se siguen los pasos de distribuir los diversos componentes de software necesarios para que un modelo funcione y luego configurar estos componentes. Este proceso suele realizarse automáticamente mediante un script. Pod Snapshots acelera el flujo de trabajo al eliminar la necesidad de una configuración del entorno basada en scripts.
La función crea una instantánea o copia que incluye todos los componentes de software que contiene un contenedor, así como su configuración. Las aplicaciones también pueden cargar la instantánea lista para usar desde la memoria. Con la instantánea, los modelos con 70 mil millones de parámetros se pueden cargar en 80 segundos y los modelos con 8 mil millones de parámetros se pueden cargar en solo 16 segundos.
Brandon Royal, director senior de productos de Google Según su informe, GKE Pod Snapshots admite instantáneas y restauración de cargas de trabajo basadas en CPU y GPU. De esta forma, los tiempos de inicio del pod se reducen de minutos a segundos. Con Royal, Pod Snapshots, cualquier espacio virtual inactivo se puede ver o suspender instantáneamente.
Puntos de control de varios niveles
Agent Sandbox y Pod Snapshots se lanzan junto con una nueva herramienta de código abierto de Google llamada Multi-Tier Checkpointing (MTC). Centrado en optimizar proyectos de capacitación de IA a gran escala, Multi-Tier Checkpointing acelera el flujo de trabajo. Esto permite a las empresas entrenar nuevos modelos de inteligencia artificial más rápido y actualizar los modelos existentes con nuevos conjuntos de datos.
Puerta de enlace de inferencia de GKE
Finalmente, Google ha hecho que GKE Inference Gateway esté disponible de forma generalizada, lo que permite ejecutar cargas de trabajo de IA más rápido. La versión de producción reduce el retraso del primer token (TTFT) en un 96 por ciento. Asimismo, debemos señalar que GKE Inference Gateway utiliza una cuarta parte menos de tokens en comparación con las aplicaciones estándar de GKE. Además, la cantidad de nodos que GKE puede admitir en un solo clúster se ha incrementado a 130 mil. Por tanto, es posible decir que incluso las mayores cargas de trabajo educativo pueden eliminarse.