Gartner: la mitad de los proyectos de generación de IA podrían exceder el presupuesto para 2028
Las organizaciones pueden estar subestimando el costo real de la IA generativa a medida que pasan de la experimentación a la producción, según el informe «Diez mejores prácticas para optimizar los costos de la IA generativa y agente» de Gartner.
«Las organizaciones que pasan de pilotos de GenAI a producción experimentan un duro despertar en lo que respecta a los costos», descubrieron los investigadores de Gartner. «Crear un sistema GenAI listo para producción puede ser mucho más costoso que ejecutar un piloto».
Los observadores de la industria predicen que al menos el 50 por ciento de las iniciativas GenAI excederán sus presupuestos planificados para 2028 debido a malas elecciones arquitectónicas y falta de experiencia operativa.
La advertencia refleja un desafío creciente al que se enfrenta la industria de la IA. Si bien gran parte de la conversación se ha centrado en las capacidades del modelo, Gartner sostiene que la verdadera prueba para las empresas será operar sistemas de IA de manera eficiente a escala.
Un factor importante de esos costos es inferenciael proceso de utilizar un modelo de IA entrenado para responder a indicaciones, generar contenido, analizar datos o realizar otras tareas en producción. A diferencia de la capacitación, que suele suponer un gran gasto inicial, los costos de inferencia se repiten cada vez que los usuarios o las aplicaciones llaman al modelo. Gartner espera que la inferencia represente al menos el 70 por ciento de los costos de vida útil de un modelo, desviando la atención del entrenamiento hacia las realidades cotidianas de atender cargas de trabajo de IA a escala.
El desafío se vuelve aún mayor con la IA agente. A diferencia de los chatbots tradicionales que generan una única respuesta, los agentes de IA pueden activar múltiples llamadas de modelos, recuperar datos, acceder a herramientas externas y ejecutar flujos de trabajo de varios pasos.
A medida que las organizaciones implementan sistemas más autónomos, el uso de la IA y los costos relacionados pueden aumentar significativamente.
El mensaje es que el éxito en la era de la IA dependerá de algo más que el rendimiento del modelo. Gartner afirma que las organizaciones deben centrarse en la gestión de costos, la eficiencia arquitectónica, la selección de modelos y el monitoreo del uso para escalar la IA generativa y agente sin incurrir en gastos insostenibles.
«Hasta 2028, al menos el 50% de los proyectos GenAI superarán sus costos presupuestados debido a malas elecciones arquitectónicas y falta de conocimientos operativos», señala el informe.