OpenAI desarrolla Performance Factory impulsada por Codex para acelerar ChatGPT

OpenAI compartió los detalles de su sistema llamado Performance Factory, que desarrolló para detectar y resolver más rápidamente problemas que afectan el rendimiento de ChatGPT. El sistema respaldado por Codex automatiza muchos procesos, desde investigar las causas de las caídas de rendimiento hasta crear soluciones y verificar los resultados de los cambios realizados.

Según los datos compartidos por OpenAI, la primera aplicación de Performance Factory Flujo de trabajo de regresión, en poco más de tres meses Más de 1.700 reseñas seguido y más de 600 identificó la causa raíz del problema de rendimiento. Este es el promedio por día. 17 revisiones automáticas corresponde.

La razón detrás del desarrollo de este sistema por parte de la empresa es la creciente aceleración de los procesos de desarrollo de software respaldados por inteligencia artificial. Anteriormente, los ingenieros de OpenAI revisaban manualmente las métricas del sistema, los registros y los cambios de código para detectar problemas de rendimiento. Con el tiempo, estos estudios Más de 30 vehículos desarrollado. Sin embargo, a medida que se aceleró el desarrollo de software, examinar los problemas de rendimiento empezó a llevar más tiempo.

Para simplificar este proceso, OpenAI ha desarrollado los métodos de revisión utilizados por los ingenieros. perf-forense Lo convirtió en una habilidad del Codex llamada. De este modo, Codex pudo investigar cuándo comenzaron los problemas de rendimiento, qué procesos se vieron afectados y las posibles causas.

¿Cómo funciona Performance Factory?

Performance Factory consta de cuatro componentes principales que gestionan tareas, distribuyen el trabajo a los agentes del Codex y realizan un seguimiento de los resultados. El sistema permite que Codex se ejecute en la infraestructura de nube de OpenAI, lo que le permite acceder a repositorios de código, métricas de rendimiento, registros y seguimientos de transacciones.

El proceso comienza con una advertencia de rendimiento. El agente del Codex primero determina cuándo ocurrió el problema y qué operaciones afectó. Luego investiga la fuente del problema examinando los cambios de código relevantes, los registros del sistema y las mediciones.

OpenAI descubrió que en las primeras pruebas, los agentes a veces aceptaban como correcta la primera explicación plausible que encontraban. Acto seguido, se añadió una fase de control al sistema en la que un segundo agente del Codex cuestionó las conclusiones del primer agente. Este agente busca posibles errores y explicaciones alternativas en lugar de verificar los resultados obtenidos.

La empresa evaluó manualmente 70 por ciento de 100 recomendaciones de causa raíz Cuando se encuentra correctamente, el resto 30 por ciento Se afirmó que era necesaria una mayor investigación. Una vez que se identifica el origen del problema, Codex puede preparar una solución. Sin embargo, se requiere la aprobación del ingeniero para implementar los cambios de código propuestos. Una vez implementado el cambio, el sistema vuelve a comprobar si se ha resuelto el problema de rendimiento.

Se empezaron a utilizar correcciones preparadas por el Codex

Según la información que VentureBeat recibió del equipo de OpenAI, se determinó la causa raíz. Más de 600 reseñas acerca de 400 sugerencias de soluciones fue creado. Publicado aproximadamente 50 correcciones Si bien están influenciados por las recomendaciones del Codex, aproximadamente 15 arreglos El código fue preparado directamente por Codex.

OpenAI tiene como objetivo desarrollar Performance Factory para que pueda funcionar de forma más independiente en el futuro. La compañía planea que los agentes detecten automáticamente pequeñas caídas de rendimiento que los sistemas de advertencia existentes no pueden detectar y apliquen algunas correcciones de bajo riesgo con menos intervención humana. Performance Factory demuestra que los agentes de inteligencia artificial no sólo se limitan a escribir código, sino que cada vez asumen más responsabilidades en los procesos de mantenimiento y rendimiento del software.

We use cookies in order to give you the best possible experience on our website. By continuing to use this site, you agree to our use of cookies.
Accept