ルータを交換したら、突然ネットワークが不安定に!?

Cool Blog Sociale - 18 July 2008 - Headache by Guillermo Vega A

トラブル発生!!

「予想外」という言葉を辞書で引くと、

「予想と違った成り行きとなること。また、そのさま。思いのほか。意外。」

とあります。

今回はある作業がきっかけで、予想外の障害が発生してしまったというお話。

主人公は、ITBOOK株式会社のネットワークを管理しているHくん。

ITBOOK株式会社は、全国16拠点の事務所を繋ぐネットワークを
OSPFを使って構築しています。
トラフィックのほとんどが各拠点から本社のサーバへアクセスです。

ネットワーク構成図

今日は横浜事務所のルータが老朽化してきたために、
最新機種への交換を行う日です。

「すでに交換手順も検討済みだし、作業手順書も作成したし、
問題なく終わるだろう」

そして作業当日。

横浜事務所の社員には、事前に12時から13時まではネットワークが
停止する連絡をしてあります。

大まかな作業手順は以下の通り。

  1. 既存ルータの電源を落とす
  2. 既存ルータを撤去し、新規ルータを設置
  3. 新規ルータへのケーブル接続
  4. 新規ルータの電源を入れる
  5. 通信確認

問題なければ30分もあれば終わる作業です。

Hくんは12時になったのを確認して、おもむろにルータの電源を
落としました。

「ふぅ〜」

さぁここからは時間との戦いです。

続いて既存ルータに接続されたケーブル類の撤去を行い、
既存ルータをラックから撤去します。

「よしよしここまでは予定通り」

新規ルータをラックに接続していたときのこと。
ふいにHくんの携帯電話が鳴りました。

「何この忙しい時に…」

どうやら同僚のTさんからのようです。

「はい、Hです」

「おお、Hか!」

「Tさん、すみません。今、横浜事務所のルータ交換作業を
しているので、後でかけ直して良いですか?」

「ちょっと待て待て!その作業は何時から開始したんだ?」

「12時ですけど」

「もしかしたらそれが原因かも知らないぞ!」
「実は12時頃から本社のサーバに繋がらなくなったという苦情が
いろんな事務所から連絡が来ているんだ」

「ええー!」
「いやでも横浜事務所のルータを落としただけで、本社と事務所間の通信に
影響があるとは思えないのですが…」

「確かに考えづらいけど、時間的に無関係とは思えない」
「とにかく復旧を優先したいので、一度ルータを戻してくれないか」

「わっわかりました!」

すぐさま、ラックに搭載した新規ルータを取り外し、
既存ルータに戻す作業を行います。

「しかし横浜事務所の作業が影響しているとは思えないけど・・・」

ネットワークにて障害発生

そして、既存ルータをラックに戻し、ケーブルを接続したところで、
時計は12時40分を指していました。

「よぅし、切り戻し完了!」

おもむろに電源を入れます。

「スイッチオーン!!」

「ウィーン…」

ルータが静かな音を立てて起動します。
5分ほど経ったでしょうか。

ルータは完全に立ち上がったはずです。

「Tさぁん。ルータ交換しましたんで、これで復旧したはずですよぉ!!」

「おおぅ!ちょっと待て。確認するから」

Tさんに状況を確認してもらっている間に、
横浜事務所からも本社への通信を確認してみます。

ルータにログインして、本社のルータへPingを実行してみます。

「だめだ・・・Pingが通らない・・・」

と、ここでルータが大量のログを出力していることに気がつきました。

「あれ?このログは・・・」

解決編に続く・・・

関連記事

メールマガジン

ネットワ-ク初心者のみなさま。
ネットワークの基礎知識を疎かにすることは
大変危険です!!

「初心者にも理解できるネットワーク技術」

これを読めばネットワークの基礎が分かる!!
ネットワーク関連の仕事に就きたいとお考えの学生の方や、ネットワークに興味があって転職を考えている社会人の方、まずは登録してみてください。

もちろん無料です!!

↓メールマガジン購読はこちら↓

メールアドレス: