ネットワーク超初心者がイベント会場のネットワークを構築した話

皆様こんにちは。19新卒エンジニアの青木です。 先日2019年10月24日,25日の二日間にわたりOPTiM INNOVATION 2019 を開催いたしました。 ご来場いただいた方、ご登壇いただいた方、並びに宣伝をしていただいた方々。誠にありがとうございました。

さて、今回の記事内容についてお話していこうと思います。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191119/20191119165942.jpg

当日の様子

目次

ことの発端

ある日、とあるMTGをしていて、アジェンダが一通り終わった頃
弊社ディレクターの川瀬からこんな一言。

「ネットワーク興味ある方いませんか?」

私「(学校でネットワークの勉強をしていたし興味無いとは言えないなぁ...くらいの感覚)」
私「🙋‍♂️興味あります」
川瀬「あ、じゃあ今度開催するOPTiM INNOVATION 2019のネットワーク構築をして欲しいんだけど」
私「はい。よろしくお願い致します」
私「(思ってたより規模がデカい!?)」

といった感じでイベント会場のネットワーク構築を行うことになりました。
構築実績はありません。やっているといえば、自宅の無線LANルータをイジイジしているレベルです。 そんな私が会場ネットワークを構築してんやわんやしながらなんとか着地出来たストーリーを記事に致します。

いざ実践!

1.ネットワーク設計

兎にも角にも設計です。これがなければ動けません。 ここで会場の条件を見てみましょう。

会場について

www.hotelgajoen-tokyo.com

こちらの2Fと3Fを利用します。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180426.png

:感想
めちゃくちゃ規模でかいじゃん。これは気合い入れ無いとヤバい。。

条件

  • ルーターは会場で用意していただける
    • イベント用に上流*1から設置 => 終了後は撤去し利用しない
  • 上流回線は全部で3つ
  • 一般公開は無し*2
  • 各展示会場にIPカメラとOPTiM Edgeがあり、その中は同じセグメントでなければいけない
  • 無線LAN,及びSwitchは自前で用意しなければならない
  • IPカメラとAPはPoEハブでなければならない
  • 想定クライアント数
    • 無線 : 100台以上
    • 有線 : 50台以上
  • !!!イベント中*3はネットワークを落とさない!!!

以上が条件です。

条件にも記載したとおり、今回はイベント用に特注で上流から回線を引っ張ってきます。 こちらの工事は会場のネットワーク工事担当の方が行ってくださり、弊社は触らない想定となります。

上流回線が3つと書きましたが、デュアルWAN的なやつではなくエリアごとに上流が違うというパターンでした。 以下がその上流回線の範囲です。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180429.png

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180328.png

不安だ。

そもそも筆者は構築が初めてなので、設計があっているかどうかのジャッジもできないので、 社内でネットワーク構築をしている方や詳しい方に逐次相談してジャッジしていただいたりしました。

用意した機材

とりあえず用意した機材。 社内に既にあるものや、新たに購入したものもあります。 Access Pointはレンタルしました。*4

  • Gigabit Ethernet Switch 16port x12
  • Gigabit Ethernet Switch 8 port x10
  • PoE Gigabit Ethernet Switch 8Port x8
  • PoE Gigabit Ethernet Switch 4Port x7
  • Access Point x8
  • LANケーブル いっぱい
  • 検証用ルータ x1

各階のIPアドレスなどなど

ルータは設置せず、かつセグメントは切らないのでとても簡素に設計しています。

どこにSwitchを設置するかなどの資料もありますが、諸々の情報が混在しちゃっていますので割愛させていただきます。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180437.png

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180432.png

固定IPアドレスを指定する機材たち

今回、ブース出展するものに 「OPTIM Edge」 と呼ばれるものが存在します。

詳しくはこちらを御覧ください。

www.optim.cloud

このページの中のシステム構成図を見ていただくととても良くわかりやすいので抜粋します。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180443.png

「OPTiM Edge」「IPカメラ」 が必要で、これらのIPアドレスは固定で同じサブネットにある必要があります。 ですので、上記のネットワーク設計時のように

DHCPサーバのアドレス範囲を絞ってあげる 必要と、 それぞれの機材に固定IPを振る作業 が必要になります。

  • カメラ 約50台
  • OPTiM Edge 約20台〜

これらをすべて手動で表にして固定していきます。

また、この構成図の右側を見ていただくとわかる通り、PCやタブレット・スマートフォンなどの端末にも利用します。 これらはPCを除き、無線で接続するためしっかりと設計する必要があります。

無線LANについて

今回レンタルしたものは こちらになります。

www.cisco.com

Cisco Aironet 1850シリーズ [AIR-AP1852I-Q-K9]

この機材の選定理由は...正直なところよく分ってないのでとりあえずWLC*5なしで設定できればいいかなと思いレンタルしました。(後にこれが苦労につながることは、今は知りませんでした...)

2.検証

さて。

ここまで設計について書いてきましたが、ここからは検証に入っていきます。

何もわかってない状態なのでぶつけ本番とかはダメです。絶対に障害おこしちゃいます。

検証も兼ねて、現地で利用する端末の初期設定などにも利用できるように無線も開放します。

ポートの生き死に

Switchにはポートがありますよね? それが一つ死んでいたとしましょう。 そこに何かしらの端末が接続していたとしましょう... 恐ろしいですね。

ということなので 16port x 12 + 8port x 10 = 272port 分の接続チェックをします。

pingを打って、ひたすらポートを変えていきます。

結果:
すべてのポートが生きていました

無線LAN構築

I.起動編

会場無線LANは合計3つのネットワークに分かれ*6それぞれにWLCが設置されます。

ただ、今回はWLCを用意していません。 どうするかと言うと...

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180446.png

解説はGoogleさんにまかせます。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180448.png

👆今回はこの機能を使いたいと思います!

...

まず、Ciscoの電源をつけて・・・

待ちます。

設定は公式ドキュメントを参考に行います。

https://www.cisco.com/c/dam/global/ja_jp/solutions/enterprise-networks/mobility-express/Cisco_Mobility_Express_8_4-setup.pdf

7分かかります。

7分もかかるらしいので頑張って待ちます。

ちなみにここで7分間待たなければいけない理由は、ローカルネット内にWLCが無いかCapwapという規格により検索をしているそうで、その検索のタイムアウト時間と起動を足した時間だそうです。

正常に起動すると設定用のSSIDが排出され、そこにアクセスすることで設定ができるようになります。

...

.....

........

一向にSSIDが出てくれないのです。

唯一状況を判断できる本体のLEDは、緑色、赤色、オレンジ色の点灯が切り替わっている状態です。 *7

www.cisco.com

公式ドキュメントによると、 検出/接続プロセス中 だそうですが、タイムアウトされるはずなんですよね。。

...

私「これは自分では解決できない!! レンタルした業者さんに問い合わせてみよう...」

問い合わせてみました。

下記の件につきまして、大変恐れ入りますが、
AIR-AP1852I-Q-K9は元々Cisco Mobility Expressに対応している
機種ではないためアクセスできない状況になっているかと思われます。

😱😱😱😱

Cisco Mobility Expressに対応している機種は
AIR-AP1852I-Q-K9Cの方になります為、本日代替品を手配させて頂きます。

神対応でした。本当にありがとうございました。

無事新しい機材が届き、やっと設定に入ることが出来ます。

ちなみに:
こちらを自分で入れようとすると、既に存在するCAPWAPイメージをMobilityExpress(ME)イメージに差し替えなければいけません。
TFTPサーバが実行されているPCにCisco公式からイメージをダウンロード*8し、TFTP経由でAPにインストールします。その際はコンソールコマンドで操作する必要がありますので、別途コンソールケーブルも必要になります。
以下がそのドキュメントです 

www.cisco.com

II.設定編

まず、設定しなければいけないのはWLCのIPアドレス等です。

Cisco Mobility Expressでは、複数のAPの1台をWLCとして機能させる事ができ AP部分とWLC部分のIPアドレスを2つ用意する必要があります。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180452.png

WLCがあればAPに直接アクセスする必要がない上に、WLCを起動させておけばなんの設定もせずにLANをつなぐだけで設定が反映されます。 とても便利ですね。

そうするためにはDHCPサーバとゲートウェイが必要になります。

現地では会場がルータを用意していただけるので本来であれば必要ありませんが、社内で検証するとなった場合IPアドレスなどが全く変わってしまうためNAT変換できるルータを利用して擬似的にオフィスに会場内LANを再現します

そこで利用するのが弊社にある検証用家庭用ルータです。

社内ネットワークをNATして以下のように会場ネットワークを再現します。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191119/20191119123801.jpg

そうするとAP(WLCも含む)にIPアドレスが振られ、設定ができるようになります。

それぞれのWLCに以下の設定を流し込みます。*9

項目 内容
3Fエリア 5GHz
SSID 3f_*****

※2.4GHz SSID: 3f*****g 

項目 内容
2Fエリア(舞扇除く) 5GHz
SSID 2f_*****

※2.4GHz SSID: 2f*****g 

項目 内容
2F舞扇 5GHz
SSID mai_*****

※2.4GHz SSID: mai*****g 

これで無線接続が可能になりましたので、会場で利用する様々な端末のセットアップが事前に出来ます。

ネットワークの疎通が確認できたら検証は終了となります。

3. 配送、設営

いよいよ会場へ持ち込みます。

設定した機材を用意し、ダンボールに梱包していきます。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180640.jpg

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180728.jpg

現地へは弊社が外部委託した業務用トラックで運んでいきます。

浜松町 => 目黒へ

会場では、来客者から見えないように配線をしていきます。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180741.jpg

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180752.jpg

検証時に会場 の環境を再現していたことから、接続するだけでしっかりとネットワークに接続してくれました。

その後IPカメラや有線接続のPCなどにも順次引いていきました。

4. 本番

さて、いよいよ本番です。

会場には多くのお客様が来場され、ブースもいよいよ賑わって参りました。

うかうかとしてられません。早速見回りして接続できているか確認していこうと思います。


トラブル.1 無線の断続的な切断

早速トラブルです!

トラブル内容は以下です。

  • 無線が切断される
  • 切れる時は全体、一斉に切れる
  • しばらく経つともとに戻る
  • 有線は無事

他のところでも同じ現象が起こっていましたが、他のネットワーク(3回線中2回線)は何も起こっていませんでした。 WLCの切断もされていなければ、至って正常でした。

ですが、、WLCのクライアント一覧を見ると・・・おおよそ30台以上のクライアントの接続時間が1分とかになっていました。 明らかに切断された形跡がありましたね。

🤔🤔🤔🤔

こちらに関しては何が問題か全くわからず、会場の状態などから現象を再現することが難しくイベント中ずっと悩むことになってしまいました。

気になっていたのが、会場に来場者が増えると頻繁に切れだしたということです。(ここの時点で気づいて居れば・・・) ただ、ここも曖昧で2時間に1回切れる時もあれば15分で切れる場合もありました。

おそらくですが、電波の干渉が原因だったと考えられます。 現地ではとりあえずログだけは取っておこうということで、ログを出していました。 その中でこの記事と似たようなログが現れていました。

community.cisco.com

スペクトルアナライザーによる特定までには至っていませんが、やはり電波干渉が原因である可能性が示唆されています。
次にこういったイベントを行う際はちゃんと電波干渉を見なければ行けないですね。。(とても初歩的なことですが・・・・


トラブル.2 電波が弱い!!

またまたトラブル発生です。

今度は、明らかに一つの部屋だけ電波が弱いのです。

🤔🤔🤔🤔

各部屋にAPを設置していましたので、APの様子を伺いに行きました。

すると...

PoEのコンセントが抜けていました

まさかAPの電源が入っていないとは思いませんでした。。 しかも初期設定時のWLCのWebダッシュボードを見るとしっかり接続されていたので、おそらくなにかの拍子で抜けてしまったか、誰かが抜いたか・・・

コンセントをさすと元通りになりました。

...

ここでまた気になったことがありました。 実はこのAP、初期設定を行ったときの...いわゆるWLC機能を持ったAP((ココではホストとでも言いましょうか))だったんです。 なのに、このAPの電源が途切れても他の部屋のネットワークはつながったままでした。

じゃあいまどこにホストがあるのでしょうか・・・

Webダッシュボードを開いてみます。*10

すると...しれっと隣の部屋のAPがホストになっているではありませんか。神対応ならぬ神機能ですね。

ホストとなったAPが何らかの理由で切断されても、他のAPがそれを担うことが出来るような構造になっていたのです。

Ciscoさんの神機能によって重大なネットワーク障害から逃れることが出来ました。

対策としては、こういったネットワーク機器はしっかり施錠したケースのようなところで管理するべきで、ネットワーク担当以外の方が手を触れられるような場所に置かない事がベストですね。今回はイベントということもあり、そういったケースなどを置かずに作業していましたが実際にネットワーク設営等行う事があればそういったことには細心の注意が必要になります。


トラブル.3 DHCPの奇妙な動き

トラブル内容はこんな感じです*11

  • ブースでスマホを利用
  • 無線が途切れたため再接続を行った
  • ネットワークに接続できない

トラブルが合ったスマートフォンを見てみると...

IPAddress : 172.16.1.118
Subnet : 255.255.255.0 👈!?
Gateway : 172.16.1.123 👈!?

明らかに設定がおかしいですね。 手動で設定してあげるとしっかり通信できました。

...

ですが、このままでは原因特定出来ていないため再発してしまいます。
自分のPCを持ってネットワークを切断・接続を繰り返し調査すると、一定の確率で変なアドレスが返ってくることがわかりました。

様々なブースを見て回ると... 家庭用無線LANルータが接続されていました。(LAN側に・・・)

DHCPの性質

DHCPサーバは同セグメント内に2つあると、どちらか一方が優先されます。 どういった方法で優先度が決まるかと言うと、DHCPサーバからより応答が早かったものが優先されてしまいます。
このような挙動により、意図しないIPアドレスやゲートウェイ情報が振られてしまい正常にネットワークに接続ができなくなったということです。

https://cdn-ak.f.st-hatena.com/images/fotolife/o/optim-tech/20191118/20191118180727.png

ルータを外してもらったところ、同じような現象は起こらなくなりました。

5. 最後

さて、イベントも2日目の後半になりそろそろお開きとなる時間になり、大きな問題もなく閉幕を迎えました。

2日間様々な問題が合ったものの、全体のネットワークが長時間止まったということもなく有線接続に関しての障害は何も起こりませんでした。 ここまでネットワークがしっかりと構築できたのも、会場の方、機材をレンタルさせていただいた企業様、及び問題に真摯に向き合っていただいた皆様のおかげです。 この場をお借りして、お礼を申し上げます。

ありがとうございました。

所感

ネットワーク構築が初めてだったのでとてもビビりながら設計から運用まで行ってきましたが、なんとか成功出来て良かったです。 ネットワーク構築といっても、ルータなどは会場の方が用意していただいたので、実際は機器をつないだだけに過ぎません。

私自身、こういった事を業務ですることは滅多に*12無く、とても刺激的な刺激になりました。
ネットワークは欠かせない存在となり、アプリケーションメインで業務を行っていても必然的にやらなければいけないと身を以て感じました。
これからも日々勉強して、新しい世界に踏み出していこうと思います。
長くなりましたが、この記事を最後までお読みいただきありがとうございました。


OPTiMでは様々な分野で活躍できるエンジニアを募集しております。

機会があればどんどん勉強が出来る環境で、社内にはそういった知見のあるエンジニアがたくさんいます。 今回のように技術的障壁が合っても挑戦出来る場があり、高みに登れる環境があります!

興味がある方は是非弊社採用ページにてご覧ください!

www.optim.co.jp

*1:ONU等

*2:展示物のトラフィックが膨大なため

*3:二日間

*4:あとでとても苦労した話が出てきます

*5:Wireless LAN Controller

*6:上流ごと分かれているのでセグメントを切っているという言い方では無くなっています

*7:2時間くらい試行錯誤して粘りました。

*8:法人契約が必須

*9:SSIDは当日に利用したものではなく、伏せています

*10:IPは初期設定時と一緒

*11:実際はヒアリングで行いました

*12:アプリケーションエンジニア故に