iPhone X 発売中! 詳細はこちらiPhone X 発売中! 詳細はこちら

閉じる閉じる

2011年6月6日に発生したネットワーク障害の発生経緯および対策などについて

<2011年6月14日>

2011年6月6日(月曜)午前8時27分から同日午後9時36分までの間、関東甲信越地域でご契約された一部のお客様など注意1 において音声通信およびパケット通信がつながりにくい状況となり、多くのお客様にご不便をおかけしましたことを深くお詫び申し上げます。
今回のネットワーク障害の対象設備、発生経緯と原因および対策は、以下のとおりです。

  • 注意1 ご契約後、MNPを利用して他の事業者へポートアウトされたお客様、およびドコモのネットワークを利用したMVNO事業者のお客様を含みます。

2011年6月6日に発生したネットワーク障害の発生経緯および対策などの概要

ネットワーク障害の原因となった対象設備

サービス制御装置

発生経緯と原因

  1. ネットワーク障害発生時の状況(6月6日午前8時27分〜午前8時37分)

    今回のネットワーク障害は、サービス制御装置の一部パッケージ(ハードウェア)が故障したことをきっかけに、通常であれば故障した0系のパッケージだけが1系のパッケージに切り替わって運用を継続するところ、装置全体が1系にシステム切替したことから発生しました。この要因は、サービス向上に向けたソフトウエアアップグレード中のユニットが、平日朝の通勤時間帯にパッケージ故障したことによります。
    今回故障した装置は、お客様の位置情報などを管理する装置であり、システム切替が発生した場合には、位置登録を行なう信号が増加し装置に大きな負荷がかかります。このシステム切替が位置登録の多い時間帯と重なり、位置登録信号が急増したためソフトウェアの過負荷耐性の不足により処理能力が低下、ふくそう状態となりました。

  2. ネットワーク障害発生後の対応1(6月6日午前8時37分〜午後6時52分)

    サービス制御装置の負荷を下げるために、午前9時26分頃より通信規制を実施し、午後0時46分にはパッケージ故障を修復し、1系から0系へシステム切替を行ないました。しかしながら、依然として高負荷状態が続いたため、通信規制を更に強め装置の負荷状況を見ながら少しずつ規制を解除していきました。

  3. ネットワーク障害発生後の対応2(6月6日午後6時52分〜午後9時36分)

    午後6時52分に一旦、システムが安定したことから、通常の運用状態に移行したところ、切替ソフトウェアの不具合により、再度、0系から1系へシステム切替が発生し、再びふくそう状態となりました。再度通信規制を実施し、システム安定化を図ったところ、午後9時36分にシステムが安定状態となりました。

対策

ソフトウェアの過負荷耐性を強化するようにソフトウェアを修正し、全国のサービス制御装置に対して対策を完了しました。

具体的な対策については以下のとおりです。

  1. ソフトウェア過負荷耐性の向上

    【対策1】 設計値以上の信号を受けた場合でも、ふくそう状態にならないように効率的な信号処理を行なうプログラムを追加
    【対策2】 複数条件が重なった場合の処理負荷を考慮し、システム切替の判定処理を最適化

  2. システム切替ソフトウェア不具合の修正

    【対策3】 通常の運用状態に移行した際にシステム切替抑止中の故障履歴を参照してしまう不具合を修正

今後ともドコモは、ネットワークの安定的な運用と再発防止に向けて取り組んでまいります。

サービス制御装置について

サービス制御装置についてのイメージ画像

事象発生から安定化までの時系列

事象発生から安定化までの時系列のイメージ画像

報道発表資料に記載された情報は、発表日現在のものです。仕様、サービス内容、お問い合わせ先などの内容は予告なしに変更されることがありますので、あらかじめご了承ください。

このページのトップへ