Resumen:
Microsoft anunció los resultados de la investigación preliminar de la interrupción generalizada de Microsoft 365 del 12 al 13 de noviembre, diciendo que la falla fue causada por una falla del servidor de Windows que había estado inactivo durante varios meses, cambios de tráfico de Teams y una reducción en la capacidad disponible de la puerta de enlace. El accidente duró desde las 16:20 UTC del 12 de noviembre hasta las 16:10 UTC del día siguiente, casi 24 horas.

Microsoft dijo que la falla se originó a partir de una solución implementada para Microsoft 365 Network Gateway Server en julio de este año. Bajo una carga específica, se produce una competencia de bloqueo en los procesos internos de Windows, y los recursos de CPU y memoria del servidor se agotan gradualmente y, finalmente, dejan de responder. El problema no había pasado desapercibido anteriormente, en parte porque el entorno de prueba de Microsoft utilizaba hardware con menos núcleos; La investigación encontró que era más probable que la disputa por bloqueos se intensificara en servidores más nuevos con más núcleos. Microsoft enfatizó que esta falla y las correcciones relacionadas solo involucran la infraestructura de puerta de enlace de Microsoft 365 y no afectan otras implementaciones de Windows.

Aproximadamente 15 horas antes del error, el tráfico de Teams cambió de la puerta de enlace de la red de respaldo a la puerta de enlace principal compartida con Exchange Online, lo que cambió los patrones de tráfico y aumentó la carga; al mismo tiempo, aproximadamente el 14% de la capacidad del servidor de la puerta de enlace no estuvo disponible temporalmente debido a otro problema que ocurrió el día anterior. Microsoft dijo que estos dos factores por sí solos no tuvieron un impacto, pero cuando se combinaron con fallas latentes, provocaron una sobrecarga del servidor.

Después de que el servidor pierde respuesta, el sistema de gestión de tráfico transfiere la solicitud a otros nodos normales, lo que pone a los servidores restantes bajo mayor presión y la falla se propaga uno por uno. En menos de dos horas, más del 80% de los servidores de puerta de enlace no respondieron; las medidas de protección utilizadas originalmente para aislar fallas en diferentes regiones no lograron evitar que el problema se extendiera entre regiones. Microsoft dijo que el incidente más grave durante el incidente fue Exchange Online, donde muchos usuarios no pudieron acceder a sus buzones de correo ni enviar y recibir correos electrónicos normalmente; Los servicios que dependían de funciones de Exchange, como Teams, Copilot, SharePoint y OneDrive, también se vieron afectados en diversos grados, y las funciones de chat y conferencia de algunos servicios aún se podían utilizar.

El proceso de recuperación se prolongó porque el servidor reiniciado podría dejar de responder tan pronto como recibiera el tráfico atrasado, y debido a que la falla se implementó hace meses, las reversiones regulares y los cambios de funciones no se podían deshacer rápidamente. Los ingenieros finalmente restauraron el código de procesamiento de conexión a la versión estable anterior, luego lo repararon en lotes, reiniciaron el servidor y restauraron gradualmente el tráfico. Microsoft declaró que los servicios globales de correo web se restauraron a los niveles esperados a las 14:17 del 13 de noviembre, y se confirmó a las 16:10 de ese día que los usuarios ya no se vieron afectados directamente por el incidente; Posteriormente se procesaron los correos electrónicos retrasados.
Microsoft ha aumentado la capacidad y el monitoreo del servidor, ha agregado medidas de protección de la distribución del tráfico y ha extendido los tiempos de espera de entrega de correo para evitar que el correo atrasado se considere erróneamente como fallas de entrega. La compañía dijo que actualmente no hay indicios de que el incidente involucrara actividades maliciosas o agentes de inteligencia artificial, y planea emitir un informe final posterior al evento antes del 20 de noviembre para complementar las medidas correctivas a largo plazo.
Comentarios