通信障害でぐったり。orz

昨日、管理しているサーバー群（データセンター内）へのアクセスが早朝から滞るようになった。

最初は1クライアントの「サーバーが異常に遅いんだけど...」の連絡が発端で、確認しようとしたところデータセンター内に設置してあるどのサーバーにセッション張ろうとしてもタイムアウトしてしまったり、ログインしてもなかなかプロンプトが帰ってこないような状態だった。

バックアップ回線からアクセスしてみるとネットワーク内では通信障害が見られないため、メインの回線周りである事は確認できた。

データセンターに引き込んでいるメイン回線のキャリアに調査依頼。そのまま内側から回線側を調査しようとしたのだがゲートウェイのルーターがまともに応答しない。

「もしかしてルーター死にかけてる？」とも思ったが、止まっている感じではなかったので粘ってプロンプト待っていたところ何とかルーターにログイン出来た。

ルーター内でステータス確認してみるとCPUが100％振り切りっぱなし。再起動してみても起動後すぐ100%の稼働率になってしまう。

この時点でまだキャリア側からの調査報告もなかったのだが、ルーターが死んでしまうという最悪な事態を考慮して、他のエンジニアが調査を継続する中、自分は社内に在庫であったNECの"IX2015"を持って岐阜市にあるデータセンターに移動をかけた。

高速道路を使っても1時間半ほどかかる距離。データセンターに入ってもルーターの取り替えとコンフィグレーションの書き換えでそれなりの時間もかかる。この後控える作業を考え憂鬱な気分で走行していると、降りるICの直前になって調査していたエンジニアからの連絡が入り「キャリアからの調査連絡があり、大量のUDPパケットが流れ込んでいるのでフィルタリングで一旦該当パケットを止める」との事。

自分はそのまま高速を降りて料金所脇にある駐車場に車を止めて状況連絡を待っていると、「回線安定しました。」との連絡が入って一安心。

全くもって迷惑な話である。
が、一昨日「docomoのspモードメール不具合」のニュースを読んで「docomoほどのキャリアがスマフォのトラフィックだで処理オーバーになるのかねぇ...」なんてつぶやいたり(Tweet)したせいかもしれない...。orz

"口は災いの元"如く、"つぶやきは災いの元"である。
人の不幸をあざ笑っていると自分にも災難降りかかって来るっていう教訓だね...。(T_T)

そのままトンボ帰りしたかというと....（続く）