A las 9 de la mañana del pasado jueves todo parecía normal. Los empleados de Microsoft estaban llegando al campus, listos para un día normal de correos electrónicos y reuniones. Pero apenas una hora después, comenzó a producirse una de las peores interrupciones de la historia de Microsoft, que dejó a los empleados, las empresas y muchos gobiernos sin acceso a los correos electrónicos de Outlook durante casi 24 horas.
Todo empezó en Suiza, según una fuente familiarizada con el apagón. Los servidores de Exchange Online que impulsan Outlook comenzaron a desconectarse. El problema se extendió rápidamente a México y luego a otros países del mundo, cuando los sistemas de conmutación por error de Microsoft intentaron desviar el tráfico de correo electrónico a otros lugares. En un par de horas, más del 80 por ciento de los servidores Exchange dejaron de responder.
Las fuentes me dicen que Microsoft marcó la interrupción como «sev0» en su sistema interno de seguimiento de incidentes, el nivel más alto, lo que indica un nivel catastrófico de interrupción del servicio. Cientos de ingenieros comenzaron a intentar descubrir qué había salido mal y cómo restablecer el servicio. No es inusual que los servidores fallen en determinadas circunstancias, pero Microsoft tiene una variedad de sistemas que se supone que dirigen el tráfico hacia servidores en buen estado para mantener en línea el sistema en general. En este caso, los sistemas de conmutación por error hicieron su trabajo, pero también extendieron el problema.
En las primeras horas de la interrupción, los ingenieros analizaban informes de fallos, registros de seguimiento y volcados de kernel para intentar encontrar pistas sobre la gigantesca interrupción. Algunos servidores habían entrado en modo de mantenimiento y dejaron de responder debido a cargas de CPU inusualmente altas. Los ingenieros intentaron volver a poner los servidores en línea, pero casi de inmediato se vieron abrumados por el tráfico que esperaba para acceder a los servidores.
Los servidores Exchange arrancan y ejecutan un sistema operativo a través de una red (entorno de ejecución previo al arranque), un proceso que permite al personal de soporte y a los ingenieros de Microsoft administrar las actualizaciones del sistema operativo de forma remota. Entiendo que la repentina explosión de tráfico de los servidores que se reiniciaban abrumaba a los sistemas que los monitoreaban, provocando una especie de bucle de reinicio en el que seguían intentando y sin éxito volver a conectarse.
Mientras los ingenieros seguían buscando la causa raíz, Microsoft incluso luchaba por hacer que los servidores regresaran a un estado saludable utilizando sus procesos habituales de revertir cambios recientes. Cuando el mundo exterior comenzó a preguntarse si esta interrupción estaba relacionada con un ciberataque o una codificación de IA descuidada, los ingenieros de Microsoft ya estaban investigando posibles vectores de ataque y contactando con especialistas en DDoS para comprender si esto podría haber sido un ataque.
Me dijeron que los informes de fallos y los registros descartaron rápidamente la posibilidad de un ataque, y después de que fallaran las recientes reversiones, los ingenieros de Microsoft comenzaron a observar más de cerca la pila de redes de los servidores y descubrieron un error inusual. Era inusual porque el error había estado presente en los servidores de puerta de enlace de red de Microsoft 365 desde julio sin ningún impacto en los servidores.
«Un defecto latente provocó que los servidores se saturaran y dejaran de responder bajo ciertas condiciones de carga», escribió Carlos Lamanna, el líder del equipo de Copiloto, Agentes y Plataforma (CAP) de Microsoft, en una publicación en X. Los equipos detrás de Office, Outlook y Microsoft Teams comenzaron a informar a Lamanna el mes pasado después de que el jefe de Office y Teams, Ryan Roslansky, dejó la empresa.
El informe preliminar de Microsoft posterior al incidente describe el error como uno que afecta a servidores Windows seleccionados «debido a una contención de bloqueo dentro de un proceso interno de Windows». El error no afecta a las versiones normales de Windows, ya que fue el resultado de una solución preparada específicamente para los servidores de puerta de enlace de red de Microsoft 365.
Microsoft no encontró el error hasta esta importante interrupción y admite que se debió a la combinación de tráfico y al hardware utilizado en sus laboratorios de pruebas. «El problema de la contención empeora en máquinas con más núcleos y hardware más nuevo; mientras que nuestras pruebas de carga tendieron a centrarse en hardware más débil con menos núcleos», escribió Lamanna.
El error se hizo evidente debido a otros dos incidentes que aumentaron la carga y redujeron la capacidad del servidor. Quince horas antes de que comenzara esta interrupción de Outlook, Microsoft Teams conmutó por error desde una puerta de enlace de red alternativa a la puerta de enlace principal que admite Exchange Online. «Esto aumentó la carga en la puerta de enlace de la red y cambió sus patrones de tráfico», escribió Lamanna. Normalmente esto no habría sido un problema, pero al mismo tiempo alrededor del 14 por ciento de la capacidad del servidor para esta puerta de enlace estaba «fuera de servicio debido a un problema no relacionado del día anterior».
La trifecta de un error, la conmutación por error de Microsoft Teams y la capacidad reducida del servidor hicieron que la puerta de enlace de la red desencadenara el problema que había estado inactivo desde julio. Microsoft tardó casi 24 horas en estabilizar nuevamente sus servidores Exchange, y me han dicho que las intervenciones superpuestas de los equipos que intentan solucionar problemas complicaron la coordinación en ocasiones.
Los ingenieros de Microsoft tuvieron una llamada de puente en funcionamiento todo el tiempo, y en un momento alcanzó el máximo de 1000 participantes. Eso muestra cuántos equipos estuvieron involucrados tratando de encontrar la causa raíz de esta gran interrupción, que comenzó en la ventana de mayor tráfico en los EE. UU.
«La recuperación tomó más tiempo de lo habitual porque cuando los servidores volvieron a funcionar, inmediatamente se vieron abrumados por el tráfico en espera y dejaron de responder nuevamente», escribió Lamanna. «Nuestros procesos de recuperación normalmente automatizados no fueron diseñados para restaurar el servicio desde este estado general de falta de respuesta. Además, dado que el defecto principal del código era un error latente de varios meses antes, nuestros indicadores normales de reversión, vuelo y funciones no pudieron revertir rápidamente el cambio».
Microsoft ahora está trabajando en una revisión final posterior al incidente que se publicará a finales de esta semana. Incluso sin esa revisión completa, está claro que la empresa necesitará invertir más en sus procesos de prueba para garantizar que, cuando algo como esto vuelva a suceder, pueda detectar el problema mucho antes. Las interrupciones ocurren a diario, pero este tipo de fallas en cascada es un raro momento para que Microsoft aprenda de sus errores y se asegure de que la misma secuencia de eventos no vuelva a hacer caer Outlook para millones de personas.
Bloc de notas Regresará en diciembre después de las vacaciones de Acción de Gracias de la próxima semana.
Siempre estoy interesado en escuchar a los lectores, así que deje un comentario aquí o puede comunicarse conmigo en [email protected] si desea discutir algo más. Si ha oído hablar de alguno de los proyectos secretos de Microsoft, puede comunicarse conmigo por correo electrónico a [email protected] o hablar conmigo de forma confidencial a través de la aplicación de mensajería Signal, donde soy tomwarren.01. También estoy en Tomwarren en Telegram, si prefieres chatear allí.
Gracias por suscribirte a Bloc de notas.