Azureで接続障害、ゲートウェイ管理サービスの変更とメンテナンスの重複が原因に

概要

日本時間10月1日未明、Microsoft Azureで日本Westを含む世界18〜19リージョンにわたり、ExpressRoute Gateway、VPN Gateway、Azure Firewall、Azure VMware Solutionなど接続系サービスの障害が発生した。発生は米国時間9月30日20:30 UTC(日本時間10月1日5:30)で、Microsoftによる緩和作業は日本時間同日11時15分頃に完了し、障害全体は約5時間45分に及んだ。Microsoftは原因について、リージョナルゲートウェイ管理サービスへの最近の変更作業と、本来無関係だったインフラOSのメンテナンス作業が重なったことで、依存先サービスへの負荷が想定以上に増大したためと説明している。

障害の原因と技術的詳細

Microsoftによると、ゲートウェイ管理サービスへの変更が、依存するサービスの需要増大に対してスケールしきれず、複数リージョンにまたがる予期しない負荷を引き起こした。これに加えて、本来は障害の発生とは無関係のはずだったインフラOSのメンテナンス作業が同時間帯に重なったことが、問題を広範囲に拡大させた一因とみられる。一部のネットワーク管理コンポーネントでは自動復旧(オートリカバリ)の仕組みが機能せず、エンジニアリングチームが正常なインスタンスを使って手動で復旧作業を行う必要があった。Microsoftは問題のあったサービス変更をロールバックし、メンテナンス作業を一時停止した上で、各リージョンに順次設定修正を適用して復旧を進めた。

影響範囲とユーザーへの影響

影響を受けたリージョンは、日本Westのほか西ヨーロッパ、北ヨーロッパ、フランス、ドイツ、スイス、英国、東アジア、東南アジア、韓国、オーストラリア、南アフリカ、UAE、インドなど18〜19に及んだ(Azure VMware Solutionについては、メキシコ中部やドイツ北部など一部リージョンは対象外)。障害の多くは完全な接続断ではなく、接続品質の劣化や遅延の増加、冗長性の低下として現れたケースが目立ち、これは「むしろ例外的」な障害パターンだったとの指摘もある。ヨーロッパでは深夜帯だったため業務への影響は限定的だったが、アジア圏の利用者はより大きな影響を受けたとされ、ハイブリッドクラウド環境やオンプレミスとの接続に依存する企業の業務が広く妨げられた。

今後の対応

Microsoftは今回の障害について責任を認め、14日以内に詳細なインシデント報告書(Post-Incident Review)を公開すると表明している。なお、AzureおよびMicrosoft 365では今年7月にもメンテナンス関連の不具合による障害が発生しており、インフラの保守プロセスそのものの信頼性が繰り返し問われる格好となっている。今回の件も含め、変更管理とメンテナンス作業のスケジューリングをどう見直すかが、今後公開される報告書の焦点になるとみられる。