Los modelos mundiales que simulan el mundo físico, que han estado en el radar de los pioneros de la inteligencia artificial, incluido Google, también son el nuevo enfoque de Nvidia. Compañía, Modelos de la Fundación Cosmos World Ha puesto a disposición de su uso abiertamente la familia de modelos mundiales denominada. anunciado. Esta familia de modelos mundiales puede predecir y producir videos relacionados con la física.
En su publicación, la compañía afirmó que ha introducido la primera ola de Cosmos WFM para simulación basada en física y generación de datos sintéticos. Según la empresa; Los investigadores y desarrolladores, independientemente del tamaño de la empresa, podrán utilizar los modelos Cosmos libremente bajo la licencia de modelo abierto de Nvidia, que permite el uso comercial.
Detalles de los modelos de la Fundación Cosmos World
La familia Cosmos WFM consta de modelos divididos en tres categorías: Nano, Super y Ultra, con tamaños de modelo que van desde 4 mil millones a 14 mil millones de parámetros. Se prefiere Nano para aplicaciones de baja latencia y en tiempo real, mientras que Super se utiliza para modelos «base de alto rendimiento». Para obtener la máxima calidad y resultados de alta fidelidad, se recomienda utilizar Ultra.
Según la información compartida por Nvidia; Los modelos Cosmos WFM se entrenaron con 9.000 billones de tokens derivados de 20 millones de horas de interacciones humanas en el mundo real, datos medioambientales, industriales, robóticos y de conducción.
La compañía afirma que los desarrolladores pueden personalizar los WFM con conjuntos de datos, como grabaciones de vídeo de viajes de vehículos autónomos o robots que navegan por un almacén. Diseñados específicamente para la investigación y el desarrollo de IA física, los Cosmos WFM pueden crear videos basados en la física a partir de una combinación de entradas como texto, imágenes y video, así como sensores de robot o datos de movimiento.
Podemos decir que Nvidia ha lanzado muchos modelos como parte de Cosmos WFM. Estos incluyen un modelo de muestreo superior, un decodificador de vídeo optimizado para realidad aumentada y modelos de barandilla para garantizar un uso responsable. La compañía también lanza modelos optimizados para aplicaciones como la generación de datos de sensores para el desarrollo de vehículos autónomos.
Según la declaración de Nvidia; Empresas como Waabi, Wayve, Fortellix y Uber han declarado que pondrán a prueba los Cosmos WFM para diversos casos de uso. Estas empresas pueden aprovechar los WFM de Cosmos para fines como búsqueda y curación de vídeos y creación de modelos de inteligencia artificial para vehículos autónomos.
Es posible ajustar modelos para aplicaciones específicas. Aquellos que quieran probar los modelos pueden visitar Cosmos World Foundation Models de Nvidia. API Y NGC catálogos, GitHub y la plataforma de desarrollo de inteligencia artificial Hugging Face.