Startup de inteligencia artificial con sede en Italia iGenioun modelo de lenguaje grande construido con la tecnología actual de Nvidia Coliseo 355Banunció que ha lanzado. Colosseum 355B tiene como objetivo atender a clientes de industrias altamente reguladas con necesidades específicas de protección de datos.
IGenius se especializa en el desarrollo de inteligencia artificial para empresas, particularmente aquellas que trabajan en industrias altamente reguladas como las finanzas y la administración pública. La compañía ha desarrollado una solución de inteligencia artificial diseñada para trabajar en estos sectores con los LLM que ha desarrollado. Cristal Soporta la herramienta de inteligencia empresarial llamada.
Detalles del modelo Colosseum 355B
Coliseo 355B, Empresa de IA de Nvidia para orquestar más de 3 mil GPU Nvidia H100 mientras renderiza usando la plataforma de software IA en la nube DGX Se utilizó la plataforma. Lo que anunció Nvidia Según el informe, la obra se completó en dos meses. Optimizado para caber en un único nodo GPU H100 355 mil millones de parámetros Coliseo 355B, un modelo Admite más de 50 idiomas Y con sus habilidades en codificación destaca.
IGenius explicó que el modelo fue entrenado previamente utilizando un método conocido como precisión FP8. En este sentido, podemos decir que la compañía ha conseguido una importante reducción en el uso de memoria. Asimismo, esta reducción de tamaño reduce los costos de inferencia en un 50 por ciento. Además, no es necesario transformar el modelo de forma que pueda reducir la precisión o la calidad.
Las industrias reguladas se mantienen alejadas de la tecnología de inteligencia artificial (IA) debido a estrictos requisitos regulatorios y de cumplimiento. iGenius planea superar esta situación con su nuevo modelo de lenguaje. Debido a que el modelo es lo suficientemente pequeño como para ejecutarse en una única GPU H100, una organización regulada podrá ejecutar el modelo dentro de su propio firewall sin necesidad de alojarlo en la nube. Por lo tanto, las empresas tendrán control total sobre el modelo al alojar su propio LLM.
Uljan Sharka, director ejecutivo de iGeniusSegún lo manifestado; iGenius está en contacto con usuarios potenciales del sector de servicios financieros, así como con empresas industriales pesadas y gobiernos. Sharka incluso voló el jueves a Bruselas para presentar el nuevo modelo a la Comisión Europea.