Měla zastavit kolaps. Automatická ochrana Microsoftu ho ještě zhoršila
Microsoft zaznamenal výpadek poštovní služby Exchange Online ve čtvrtek 12. listopadu v 17:20 středoevropského času. Uživatelé se nemohli dostat do schránek přes Outlook a další poštovní aplikace, řadě z nich chodily zprávy se zpožděním.
Krátce po 19. hodině nahlásilo potíže s Outlookem na serveru Downdetector téměř 130 tisíc uživatelů. Výpadek zasáhl také některé funkce komunikační služby Teams, cloudového úložiště OneDrive a asistenta Copilot.
Chyba se přes tři měsíce neprojevila
Příčinu Microsoft vystopoval k úpravě softwaru, kterou začal nasazovat už v červenci. Chyba se déle než tři měsíce neprojevila a neodhalily ji ani běžné zátěžové testy. Podle firmy se při vysoké zátěži projevovala výrazněji na novějších serverech s více procesorovými jádry. Při testech přitom Microsoft používal hlavně slabší stroje s menším počtem jader.
Zhruba 15 hodin před výpadkem se provoz služby Teams přesunul na síťové brány, které obsluhují i poštu Exchange Online. Kvůli jiné závadě přitom už chybělo téměř 14 procent kapacity těchto bran. Při vyšší zátěži se začaly hromadit požadavky a první servery přestaly odpovídat.
V tu chvíli zasáhla automatická ochrana. Provoz přesměrovala na servery, které ještě odpovídaly. S rostoucí zátěží se stejná chyba projevovala i na nich. „To způsobilo řetězové selhávání serverů, protože se stejná zátěž rozložila mezi méně strojů,“ uvedl Microsoft v předběžné zprávě.
Servery po návratu znovu selhávaly
Přetížení brzdilo i obnovu provozu. Některé servery po opětovném zapojení fungovaly jen do chvíle, než se na ně nahrnuly čekající požadavky. Technici v noci na pátek vypnuli část automatického přesměrování. Jakmile našli příčinu, připravili aktualizaci, která vrátila část kódu pro zpracování připojení do dřívějšího funkčního stavu. Aktualizaci nasazovali po skupinách serverů, které postupně odpojovali, restartovali a vraceli do provozu.
Dostupnost v Evropě se podle Microsoftu vrátila k běžným hodnotám v pátek ve 12:35 středoevropského času. V 17:10 firma potvrdila, že výpadek už přímo nezasahuje zákazníky. Nadále sledovala stabilitu služeb a doručování e-mailů, které se během výpadku nahromadily.
Kolaps serverů Microsoftu v kostce:
- Kdy: Začal ve čtvrtek 12. listopadu. Úplné obnovení služeb Microsoft oznámil v sobotu 14. listopadu. Potíže trvaly přes 24 hodin.
- Rozsah: Hlášení přicházela ze 74 zemí a území včetně Česka. Nešlo o úplný výpadek všech služeb pro všechny uživatele.
- Zasažené služby: Především pošta Exchange Online a Outlook, ale také některé navázané funkce Teams, Copilotu a dalších nástrojů Microsoftu 365.
- Příčina: Podle Microsoftu se po změně v síti projevila chyba vzniklá při dřívějším rozšiřování její kapacity. Firma uvedla, že nešlo o kyberútok ani zásah AI.
- Dopady v Česku: Potíže hlásilo ministerstvo financí i pražské letiště. Novinky ověřily nedostupnost školní pošty u jednoho pražského gymnázia.
- Dopady ve světě: Výpadek narušil komunikaci úřadů, škol, zdravotnických zařízení i firem. Euronext odkázal firmy na telefon, samotné burzovní obchodování pokračovalo.
内容来自 Novinky.cz - Kultura,版权归原作者所有。
阅读原文 ↗
