НовостиАкцииСбой Microsoft 365 нарушил работу почты, Teams и других сервисов в нескольких регионах

Сбой Microsoft 365 нарушил работу почты, Teams и других сервисов в нескольких регионах

Автор: Fox Business Markets·

Ключевые выводы

  • •Microsoft объяснила сбой тем, что ряд серверов неожиданно стал недоступен, создав нагрузку на оставшуюся инфраструктуру, а не ростом пользовательского трафика.
  • •Сбой затронул Exchange Online, календарь и планирование Teams, центры администрирования, Copilot, Defender, Purview, Power BI и другие сервисы, хотя основной обмен сообщениями в Teams и файлы, хранящиеся непосредственно в SharePoint Online, остались в целом работоспособными.
  • •Меры по восстановлению — перезапуск затронутых компонентов, ограничение отдельных типов трафика и пересборка серверов с предыдущей конфигурацией — дали лишь частичные улучшения, которые, по словам Microsoft, не были устойчивыми.
  • •Downdetector зафиксировал более 130 000 сообщений о проблемах к 14:00 в четверг, при этом Microsoft 365, по данным Dynamics Connect, обслуживает около 321 миллиона пользователей по всему миру.
  • •Сбой вызвал последствия на практике, такие как задержки ответов на электронные письма в пожарной службе Portland Fire & Rescue в Орегоне, и к раннему утру пятницы оставался неустранённым в США.
Сбой Microsoft 365 нарушил работу почты, Teams и других сервисов в нескольких регионах

Пользователи Microsoft 365 в нескольких регионах столкнулись с ошибками подключения в четверг, пока технологический гигант пытался устранить масштабный многочасовой сбой, вызванный повышенной нагрузкой на системы. Этот набор сервисов — включая почту Exchange Online, обмен сообщениями в Teams, приложения Office и широкий спектр облачных и административных служб — лежит в основе повседневной коммуникации компаний, школ и государственных учреждений, и масштаб сбоя показал, сколько инструментов может выйти из строя, когда отказывают его базовые системы.

К раннему утру пятницы сбой оставался неустранённым в США и распространился на рабочий день в Азиатско-Тихоокеанском регионе, при этом Microsoft продолжала работы по восстановлению сервисов.

Согласно предупреждению Microsoft Admin Center, «повышенная нагрузка» не была вызвана ростом трафика. Вместо этого её причиной стало то, что «ряд серверов неожиданно стал недоступен, что создало нагрузку на оставшуюся инфраструктуру».

«Мы работаем над тем, чтобы безопасно вернуть их в строй», — заявила Microsoft, добавив, что она «активно задействует все пути для снижения последствий».

К 18:30 по Восточному времени компания сообщила, что открывает все доступные каналы для восстановления сервиса, «поскольку предпринятые до сих пор меры не принесли ожидаемого облегчения».

«Мы обнаружили, что ключевой процесс на затронутых серверах перегружается, что приводит к потере мощности», — написала Microsoft в заявлении. «Чтобы проверить возможное восстановление, мы изолируем часть инфраструктуры, перезапускаем затронутые компоненты и вновь направляем трафик, чтобы убедиться в стабильности сервисов перед более широким применением изменений».

«Вернутые в строй серверы могут снова перестать отвечать после получения трафика; мы анализируем диагностические данные, чтобы определить, что вызывает такое поведение», — говорилось в другом предупреждении. «Параллельно мы временно ограничиваем типы трафика, которые могут достигать затронутой инфраструктуры в некоторых локациях. Кроме того, мы пересобираем часть затронутых серверов с использованием предыдущей конфигурации, чтобы проверить, предотвратит ли это их отказ».

Сбой потенциально затронул тысячи пользователей, пытавшихся получить доступ к своей почте через Microsoft 365. В обновлении в 20:59 по Восточному времени Microsoft сообщила о прогрессе в восстановлении сервиса, отметив, что усилия по перезапуску затронутой инфраструктуры и восстановлению доступности серверов дают положительные результаты. Компания заявила, что отслеживает затронутые системы для проверки их стабильности перед более широким расширением работ по восстановлению, что, как ожидается, может улучшить доступность сервисов.

Однако в последующем обновлении в 22:13 по Восточному времени Microsoft сообщила, что её усилия по улучшению доступности сервисов не дают ожидаемых результатов.

«Мы определяем альтернативные направления работы, которые можно применить для увеличения мощности в условиях устойчивых дисбалансов в управлении трафиком», — написала Microsoft в X (@MSFT365Status).

В 23:36 по Восточному времени Microsoft сообщила о «частичном восстановлении сервиса» в некоторых регионах, но отметила, что улучшения не были устойчивыми.

Затронутые сервисы

Сбой затронул широкий спектр продуктов Microsoft в области продуктивности, безопасности и облачных технологий:

  • Exchange Online: пользователи могут быть не в состоянии получить доступ к своему почтовому ящику через Outlook в интернете, настольный Outlook (MAPI), Exchange ActiveSync (EAS) или подключения на основе REST, а доставка электронной почты может задерживаться.
  • Microsoft 365 admin center: администраторы могут быть не в состоянии загрузить некоторые страницы центра администрирования.
  • Приложения Microsoft 365: пользователи могут быть не в состоянии просматривать недавно использованные файлы.
  • Microsoft 365 Apps Admin Center: затронуты несколько сервисов, включая Cloud Update, Cloud Policy и Inventory.
  • Microsoft 365 Education: могут быть затронуты функции, включая Assignments, Reading Progress и Speaker Progress.
  • Microsoft Copilot 365: пользователи могут быть не в состоянии загрузить Copilot Chat или получать ответы в веб- и настольных приложениях, а функции Copilot могут быть не в состоянии получать доступ к рабочим данным, таким как почта, календарь и файлы.
  • Microsoft Defender for Office 365: Safe Links может быть не в состоянии проверять URL-адреса, что может повлиять на пользователей, нажимающих ссылки в Outlook и Teams.
  • Microsoft Defender XDR: пользователи могут быть не в состоянии загрузить страницы портала Microsoft Defender или вкладки решений.
  • Microsoft Fabric: пользователи могут столкнуться со сбоями при экспорте отчётов с метками чувствительности в PDF или PowerPoint, а также при обновлении артефактов с метками чувствительности.
  • Microsoft Graph: запросы API к данным Exchange Online — таким как почта, календарь и контакты — могут прерываться по таймауту.
  • Microsoft Intune (числится среди затронутых сервисов)
  • Microsoft Planner: пользователи сталкиваются с проблемами надёжности операций с планами и задачами.
  • Microsoft Purview: затронуты несколько сервисов Purview, включая Authorization, автоматическую маркировку, Data Loss Prevention (DLP), Communication Compliance и Data Classification, а пользователи могут быть не в состоянии загрузить страницы портала Microsoft Purview.
  • Microsoft Teams: сценарии, зависящие от Exchange Online — включая календарь, планирование встреч и создание чатов для организаций, использующих Information Barriers — могут не работать. Основной обмен сообщениями и онлайн-встречи в целом остаются работоспособными.
  • Microsoft To Do: приложение может не загружаться, а пользователи могут сталкиваться со сбоями операций.
  • Power BI: все пользователи могут периодически быть не в состоянии экспортировать отчёты с метками чувствительности MIP в PDF в Power BI.
  • SharePoint Online: могут быть затронуты функции, зависящие от Exchange Online. Доступ к файлам, хранящимся непосредственно в SharePoint Online, остаётся работоспособным.
  • Universal Print: пользователи могут сталкиваться с ошибками при отправке заданий печати или использовании функций администрирования.
  • Windows 365: у клиентов, настроивших свои арендаторы и Cloud PCs на использование Microsoft Purview Customer Key для Windows 365 Cloud PCs, пользователи могут быть не в состоянии подключаться к своим Cloud PCs.

Список также выявил цепочку зависимостей через Exchange Online: календарь и планирование Teams, некоторые функции SharePoint Online и запросы Microsoft Graph к почте, календарю и контактам все опираются на почтовую платформу, поэтому её нестабильность распространилась далеко за пределы самого Outlook. Microsoft, впрочем, отметила, что основной обмен сообщениями в Teams и онлайн-встречи оставались в целом работоспособными, как и файлы, хранящиеся непосредственно в SharePoint Online.

Microsoft заявила, что продолжает работу над тем, чтобы «изолировать проблему, влияющую на доступность серверов, а также над другими направлениями».

Мнение эксперта

Эксперт по кибербезопасности Лиза Гарбер сообщила FOX Business, что Microsoft сталкивается с «повышенной нагрузкой», что означает: «Слишком много происходит на меньшем количестве серверов — не потому, что ею пользуется больше людей из-за роста трафика, а просто потому, что доступно меньше серверов».

«Такая проблема сама по себе довольно проста, но в масштабах, в которых работает Microsoft, она может остановить всё», — добавила Гарбер. «Мы видели подобные сбои и раньше — у Amazon, у Google — за последнее десятилетие, некоторые из них были чрезвычайно масштабными по всему миру».

Ранние выводы

В более раннем обновлении, опубликованном в официальных каналах, Microsoft сообщила, что инженеры определили источник сбоя, отметив, что часть её инфраструктуры испытывала повышенный трафик и нагрузку. Как сообщила компания, расследование показало, что неудачные проверки работоспособности могли исходить от неопознанного компонента, отвечающего за обработку состояния серверов. Были приняты меры для предотвращения затрагивания дополнительных серверов.

Данные, собранные Downdetector — сайтом, отслеживающим проблемы с веб-сайтами и программным обеспечением, — показали, что к 14:00 в четверг поступило более 130 000 сообщений о проблемах; эти цифры отражают жалобы пользователей, а не официальные данные Microsoft о сервисах. Downdetector также сообщала о проблемах пользователей с Xbox и Amazon, но масштаб этих проблем оставался неясным.

По данным Dynamics Connect, Microsoft 365 насчитывает около 321 миллиона пользователей по всему миру — аудитории, охватывающей компании, школы и государственные учреждения. В четверг оставалось неясным, как долго может продлиться сбой и как он может повлиять на работу персонала. Поскольку Microsoft проверяла ограничения трафика и пересборку серверов против проблемы, которая уже устояла перед ранними исправлениями, предупреждения центра администрирования и аккаунт @MSFT365Status в X оставались источниками, за которыми стоило следить в поисках признаков устойчивого восстановления.

Последствия на практике

Пожарная служба Portland Fire & Rescue в Орегоне сообщила, что все, кто отправляет электронные письма сотрудникам агентства, могут получить ответы с задержкой. По словам агентства, экстренные бригады по-прежнему направлялись на вызовы.

Белый дом не сразу ответил на запрос FOX Business о комментариях.

Эта статья была первоначально опубликована изданием FOX Business.