Dejando atrás a Apple esta semana empresa mas valiosa Nvidia, que ha llegado a la cima, introdujo nuevas herramientas de simulación e inteligencia artificial que impulsarán el aprendizaje de robots y el desarrollo de robots humanoides. La empresa en la Robot Learning Conference (CoRL) en Munich, Alemania. Marco de aprendizaje de robots de Nvidia Isaac Lab ponerlo a disposición del público en general y Seis nuevos flujos de trabajo de aprendizaje de robots humanoides para el Proyecto GR00T anunciado. Proyecto GR00T Señalemos que se trata de una iniciativa para acelerar el desarrollo de robots humanoides.
Nvidia sobre el aprendizaje de robots simultáneamente con CoRL publicando 23 artículos así como nueve talleres presentado. La empresa publica guías de capacitación y flujo de trabajo para desarrolladores. Nueva colaboración con Hugging Face también anunciado. El dúo está colaborando con LeRobot, Nvidia Isaac Lab y Nvidia Jetson para acelerar la investigación en robótica de código abierto.
Laboratorio Nvidia Isaac
Nvidia Omniverso Un marco de aprendizaje de robots de código abierto construido en Nvidia Isaac Lab, puede ser utilizado por los desarrolladores para entrenar políticas de robots a escala. Aquellos que utilizan Nvidia Isaac Lab incluyen 1X, Agility Robotics, The AI Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics y Xpeng Robotics.
Se pueden manejar movimientos e interacciones cada vez más complejos utilizando Nvidia Isaac Lab. Los desarrolladores pueden utilizar Nvidia Isaac Lab para cualquier cosa, desde robots humanoides hasta robots cuadrúpedos. Nvidia Isaac Lab 1.2 está disponible como código abierto en GitHub.
Para los investigadores y desarrolladores que están aprendiendo a utilizar Isaac Lab, hay nuevas guías para desarrolladores disponibles para comenzar. Esto incluye una guía para la transición de Isaac Gym a Isaac Lab.
Proyecto GR00T que apoya a robots humanoides
El proyecto GR00T se centra en el desarrollo de bibliotecas, modelos base y canalizaciones acelerados. De esta forma, Nvidia ayuda a acelerar el ecosistema global de desarrolladores de robots humanoides.
Los robots humanoides avanzados necesitan percibir, actuar y aprender de manera efectiva una variedad de habilidades para establecer interacciones entre humanos y robots y entre robots y su entorno. Seis nuevos flujos de trabajo del Proyecto GR00T brindan a los desarrolladores de robots humanoides planos para realizar las capacidades de robots humanoides más desafiantes. Entre estos flujos de trabajo, también se incluye GR00T-Gen para crear entornos 3D basados en OpenUSD y compatibles con inteligencia artificial.
Jim Fan, director senior de investigación de IA incorporada en Nvidia Mientras explicaba el trabajo de Nvidia en GR00T, la próxima ola de robots humanoides, encarnada la inteligencia artificial señaló eso. Los nuevos flujos de trabajo Nvidia Project GR00T estarán disponibles pronto para los desarrolladores.
Tokenizador Nvidia Cosmos y Curador Nvidia NeMo
También para la curación y el procesamiento de datos de vídeo. nuevas herramientas de desarrollo del modelo mundial También se presentó. Los desarrolladores de robots crean modelos del mundo que pueden predecir cómo responderán los objetos y entornos a las acciones de un robot.
La creación de estos modelos del mundo, que son representaciones del mundo mediante inteligencia artificial, requiere miles de horas de datos de vídeo o imágenes seleccionados del mundo real. Se puede hablar de un entorno de trabajo donde el cálculo y la densidad de datos son de alto nivel.
En este punto, recién introducido Tokenizador Nvidia Cosmos Y Herramientas de curador de Nvidia NeMo entra en juego. Al separar imágenes y vídeos en tokens de alta calidad con índices de compresión excepcionalmente altos, Cosmos tokenizer proporciona a los desarrolladores de robótica una tokenización visual superior. NeMo Curator ayuda a los desarrolladores de robots a mejorar la precisión de los modelos mundiales mediante el procesamiento de datos de texto, imágenes y vídeos a gran escala. El tokenizador Cosmos de código abierto es mejor que los tokenizadores existentes. Hasta 12 veces más rápido funciona. NeMo Curator es uno de los canales no optimizados. hasta siete veces más rápido proporciona curación de procesamiento de video. Entre las empresas que utilizan el tokenizador Nvidia Cosmos Tecnologías 1X, Robótica Xpeng Y Hillbot se encuentra. Puede acceder al tokenizador Nvidia Cosmos en GitHub y Hugging Face. NeMo Curator para procesamiento de vídeo estará disponible a finales de mes.
