A medida que aumenta la escala de los modelos de inteligencia artificial, la infraestructura de hardware de los centros de datos se enfrenta a cuellos de botella en la memoria y la transferencia de datos, más que en la potencia de cálculo. Google, con el objetivo de cambiar esta situación, ha desarrollado los procesadores TPU 8tx y 8i Max de nueva generación, que abordan directamente los principales obstáculos arquitectónicos de la infraestructura de inteligencia artificial. Gracias a esta nueva arquitectura de chips diseñada específicamente, la empresa pretende superar los cuellos de botella en cuanto a costes y rendimiento que se producen tanto en los procesos de entrenamiento como en los de presentación en tiempo real de los grandes modelos de lenguaje.
Para situar correctamente las nuevas arquitecturas de chips desarrolladas, es necesario diferenciar entre los procesos de entrenamiento e inferencia, que constituyen los dos pilares fundamentales de las cargas de trabajo de inteligencia artificial. El entrenamiento de modelos destaca como un proceso basado en una elevada potencia de cálculo matricial, que requiere el procesamiento de billones de parámetros con enormes conjuntos de datos durante días o meses. La fase de inferencia, por su parte, consiste en que un modelo entrenado genere respuestas instantáneas a las solicitudes de los usuarios, y en este punto el mayor obstáculo no es tanto la capacidad de cálculo como los tiempos de latencia y el ancho de banda de la memoria. Mientras que el modelo Google TPU 8tx se centra principalmente en cargas de entrenamiento de gran volumen, el TPU 8i Max está configurado para reducir los costes de inferencia y la latencia.
Alto ancho de banda de memoria y arquitectura de computación oculta
En las arquitecturas de inteligencia artificial, el procesamiento de ventanas de contexto gigantescas con millones de tokens está directamente relacionado con la rapidez con la que los datos pueden transferirse entre el chip y la memoria. El Google TPU 8tx evita la pérdida de datos en las rutas de transmisión gracias a una tecnología de empaquetado avanzada y a interconexiones de alta velocidad. Los cuellos de botella derivados de CoWoS, HBM y chiplets —que ya hemos abordado anteriormente en el contexto de las infraestructuras de inteligencia artificial— están obligando a los fabricantes de hardware a integrar capas de memoria de gran ancho de banda directamente cerca del núcleo del procesador. Google también pretende evitar que los modelos gigantes se vean limitados por la memoria renovando la arquitectura de acceso a la memoria en sus chips de nueva generación.
No obstante, la seguridad de los datos es una de las principales preocupaciones de las empresas a la hora de utilizar la inteligencia artificial. Google, gracias a las capacidades de computación confidencial a nivel de hardware que ha incorporado a la arquitectura TPU 8tx, garantiza que los datos permanezcan cifrados incluso en el momento de su procesamiento. Este enfoque elimina el riesgo de que los datos de sectores sensibles, como el financiero y el sanitario, se filtren al exterior durante la extracción de modelos. Por otra parte, aunque las enormes necesidades energéticas de estos clústeres de chips aumentan la presión sobre el consumo de electricidad y agua de los centros de datos, el diseño de Google, centrado en la eficiencia energética, tiene como objetivo aumentar el rendimiento por vatio por servidor.
La estrategia de las TPU de Google frente al ecosistema de Nvidia
Frente al ecosistema de GPU y la capa de software CUDA de Nvidia, fuerza dominante en el mercado, Google ofrece una arquitectura vertical más integrada con su propia infraestructura de TPU. Sin embargo, resulta de vital importancia distinguir entre las declaraciones de los fabricantes y las pruebas de rendimiento independientes, así como los costes reales en el mundo real. Aunque las cifras de potencia de cálculo teórica anunciadas por Google parecen impresionantes, las pruebas sintéticas independientes y las cargas de trabajo reales de los centros de datos muestran que la mayor ventaja de las TPU radica no tanto en la velocidad bruta como en el coste total de propiedad.
Mientras que las soluciones de GPU de uso general de Nvidia ofrecen una amplia compatibilidad de software, los circuitos integrados específicos (ASIC) de Google, como el TPU 8tx y el 8i Max, solo alcanzan el máximo rendimiento en determinadas bibliotecas de inteligencia artificial para las que han sido optimizados. A decir verdad, la nueva serie de TPU ofrece una ventaja de costes notable para las empresas que han diseñado su infraestructura en la nube íntegramente sobre Google Cloud. Sin embargo, para los desarrolladores que buscan flexibilidad y portabilidad entre diferentes plataformas, la arquitectura de Nvidia sigue siendo una opción válida.
Teknoblog ya está en WhatsAppRecibe en tu móvil las mejores ofertas tecnológicas del día y las noticias más importantes que no te puedes perder.
Únete al canal