新自宅サーバーで10Gbpsのロマンを追うの巻

お久しぶりです。最近マイクラサーバー整地鯖の新環境構築にハマっています。なんと視聴者さんからラックマウントを頂きまして、ラックマウントがあるならば、何か一つネットワークスイッチをマウントしてみたいよね。ということで視聴者さんにおすすめされた10Gスイッチを買ったあたりから、ズブズブと沼に…。ちなみに、買った10Gスイッチは奥行きが足りない問題とそもそも耳がない問題でラックマウントに乗りませんでした☆
[20210330追記]
Proxmox VEに興味がある方が多そうなので補足です。
日本語情報はfefccサンのブログがかなり参考になりました。
fefcc.net/arch...
エラー文はググるとだいたいProxmoxのコミュニティサイトの投稿が引っ掛かるのと、debianベースのLinuxなのでLinux触り慣れてる方なら比較的ラクにトラブルシューティング出来るかと思います。Proxmox VEはいいぞ。
---
声：うんちゃま ( / tsukkkkkun )
▼動画で触れたもの
Cooler Master Silencio S400 静音型 ミニタワー PCケース CS7618 MCS-S400-KN5N-S00
amzn.to/31nf7tv
Cooler Master Silencio S600 静音型 ミドルタワー PCケース CS7616 MCS-S600-KN5N-S00
amzn.to/31lL1GX
StarTech.com パッチパネル用ブラケット 6U 奥行き12インチ ウォールマウント専用 耐荷重20kg WALLMOUNT6
amzn.to/3w5xzow
StarTech.com 1U 固定式サーバーラック棚板 奥行き254mm カンチレバー型 CABSHELF1U10
amzn.to/2PvlgBk
アライドテレシス AT-x510-28GTX
※ヤフオク,海外通販など推奨
~
※SFP+トランシーバー周りに興味のある方は、ベンダーロックにお気をつけて…
Mellanox MCX311A-XCAT ConnectX-3 JPネットワークアダプタPCI Express 3.0 x 8 Fibre Channel over Ethernet（FCoE）
amzn.to/3d91SC5
※ヤフオク,海外通販など推奨
OM3 マルチモード デュプレックス LC/LC 10Gb 40Gb 光ファイバーケーブル 50/125μm 5m
amzn.to/3w0U8L3
Mellanox MFM1T02A-SR 10GSFP+トランシーバーモジュール
※ヤフオク,海外通販など推奨
~
Intel X520-DA1
※ヤフオク,海外通販など推奨
10G SFP+ Cable Intel XDACBL5M互換 10GBASE-CU Twinaxケーブル 5m【3年保証】
amzn.to/39j6Hru
~
YAMAHA RTX830 ギガアクセスVPNルーター
amzn.to/2Qxmn3J
▼撮影機材
ソニー フルサイズミラーレス一眼 α7C レンズキット シルバー ILCE-7CL S
amzn.to/38owL4D
ソニー SONY ワイヤレスリモートコマンダー機能付シューティンググリップ
GP-VPT2BT
amzn.to/3laPyEk
ソニー SONY 単焦点レンズ FE 20mm F1.8 G Eマウント35mmフルサイズ対応 SEL20F18G ブラック
amzn.to/2NIFPJA
※リンクは アマゾンアソシエイトです。
---
▼Special Thanks
タイトルモーション提供：nickさん
/ nick04211

[@unchama]

ネットワーク速度テストの部分ですが、皆さんに"iperf3"コマンドの存在を教えてもらいました。これだとテスト時にディスクに書いたりしなくって、純粋にネットワークの速度を測ることができるっぽいです。早速VMをクローンして2VM間で測ってみましたが、ほぼほぼワイヤーレート出ることが確認できました。やったね！

[@unchama]

もうググった方はご存知かもしれませんが、Proxmox VEの日本語情報はfefccサンのブログがかなり参考になりましたので置いておきますネ fefcc.net/archives/1007 あとは、エラー文はググるとだいたいProxmoxのコミュニティサイトの投稿が引っ掛かるのと、debianベースのLinuxなのでLinux触り慣れてる方なら比較的ラクにトラブルシューティング出来るかと思います

[@seaf1681]

ゆうもさんの物理攻撃：光ファイバーを折る！

[@256nohito]

ブレーカーを落とす！

[@如月碧人]

HDDをかち割る

[@aalien2569]

光ファイバーをサーバーに直挿しするのちょっと感動,,, こんなことできるんかぁ、、、 驚きっすね、、、

[@NeeGo_DJ]

うんちゃまへの最も強烈な物理攻撃 「光ファイバーをへし折る」 うんちゃまの骨が折れるよりも痛いそう。

[@user-oy3xj6um8v]

＿人人人人人人人人人＿ ＞ 逸般の誤家庭 ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y￣

[@mesuger]

翻訳でイーバン間違いない家族は草

[@user-df2fv8sl2g]

個人的趣味で立てている2Uラックのネットワーク冗長化に伴う10G環境構築に悩んでいた為、貴動画が非常に参考になりました。 ありがとうございます。

[@snmagn1244]

前回の配信で 一気に買いすぎましたなぁ… とかコメントしたけど、やっぱこういうのは夢あるなぁ！ゆっくり頑張ってください！

[@yotakun4132]

久々にこの動画見に来たら何やってるのか分かるようになってて草 沼にハマってるなァ！！

[@chickenheart7615]

ProxmoxのコンソールUI、どこかで見たなぁ、と思ったらSenchaのExtjsじゃないか！！ こんなニッチにして統合されたJSフレームワーク、こういう濃いとこでしかみない。

[@tatertotbot]

I don't speak Japanese but if I see 10Gbps I click

[@mayufitcook]

めちゃくちゃ勉強になりました。RJ45以外を使うのが怖かったですがこれで少し勇気が出ました。もっと勉強して10G環境作ります。

[@YasuriKatame]

インターネットは外部の影響が大きくて高品質の回線を契約する以上は弄りようがないけれど、整地鯖内は高速ネットワークと堅牢性のある仮想化とバックアップ体制があり快適な鯖ライフを提供しますよってことですよね ネットワークは詳しくないですし素人では実態を知りようがないのでこういう動画はためになります

[@penM000]

導入優先順位がssd

[@quadrupledamage]

I have no idea whats going on but im going to comment so the algorithm recommends this video to more people

[@POKEMONWWW]

私も数年前からI-O DATA製10Gｽｲｯﾁ(8ﾎﾟｰﾄ)を導入して、ﾒｲﾝ/ｻﾌﾞPCと無線APは10G化しましたが、NASが非対応なので買い換えたい欲で頭がﾊﾟﾝﾊﾟﾝ😖 自宅LAN環境で光ﾌｧｲﾊﾞｰ、ロマンあって良いですよね。憧れます。 あー❗100Gや400Gの世界も体験してみたいんじゃー‼️

[@ryoryo24]

久しぶりです！ 今トレンドの仮想化キメてるんですね～！！

[@3go_No.3]

いつかネット回線もLANも全部光ケーブルと10Gbpsで構築してみたい！！！

[@kalonsystem]

ただ光ケーブルは樹脂製でも柔軟性に欠けるからなぁ〜 でもやってみたい（ロマン）

[@尿]

これは逸般の誤家庭

[@unone_ch]

ここに出てくる機材がやっと分かるようになってきたぜ...

[@user-zd5iy4zd1n]

50個目の高評価いただきました。

[@kuremaClaimer]

ダイレクトアタッチ銅線ケーブルで十分なところをわざわざ光にするのはロマンだなぁ。 個人的には10GBASE-SRは離れのような中距離とか、1階2階のハブ間の接続だけ10Gにしたいけどケーブルは細い方が楽みたいな状況に向いてると思う。 最近は安くなったらしいけど10G環境は別に10GBASE-Tに拘らずSFP+を使った方が色々と良さそうに思うけれど、そもそも自分はサーバーはHDD運用だしそんなに速度求めてないし金もないからマザーボードで標準搭載されてスイッチが3000円くらいになってからだな。

[@8yate]

ファイバー接続面のクリーンアップとトランシーバーに綿棒刺してお掃除しないと(義務感)(こぼれるPing)(増え続けるエラー)

[@xeele]

あぁぁああ

[@blueberrymascarpone2786]

ウチは1GなのにSXで、使う時には一応やっておきました。愛三電機へ仕事場から2.5分で行けるから出来ること... ちなみに、つながっている先は吊り橋...

[@suissiu]

Windowsで家庭用のルータしか触ったことないから動画は何言ってるかまったくわからないけど、光ファイバとかカッコイイですね！

[@risu0625gm]

48個目の高評価いただきました(便乗に便乗に便乗)

[@TS-rs5ny]

どれとは言いませんが、うちの会社の機器を使ってくれて嬉しいです

[@kenchannel0320]

スループットの測定ですがiperfとかどうでしょうか？（・ω・）

[@ythg8831]

Hypervisorのマネージメント系IPとサービス系のIPのセグメントが同じなのかなと思ったとこからの疑問なのですが このproxmoxってNIC認識数に制限があったりするんですかね？ あとLAGって1G束ねたからといって単純に2Gの速度になるんでしたっけ？ 複数の送信元や宛先に対して負荷を分散させるだけであって通信速度は1Gだと思っていました

[@unchama]

調べた限りでは、実用上困るレベルの認識数の制限は無い筈です！ベースがdebianなので、linuxライクに割と柔軟に設定可能なイメージを持っちょります。そのうちセグメンテーションもやりたいですね。LAGはご認識の通りで、設定にも寄りけりですがMacアドレスかIPアドレスあたり単位でNIC割り当てられるみたいなので、1対1の通信だとGbps以上の速度は出ませんでした。ライブマイグレーションは1対1の通信っぽくて、LAG何本組もうが変わらず。cephだとディスクReadはLAGの方が早くなってましたが、これは恐らく通信元ホストが複数になるからと思われます。ちなみに802.3ad,LACP,アルゴリズムはLayer2+3です。

[@user-vh4qh6ng3s]

全然話分からなかったけどうんちゃまさんの声が良いからいいや

[@CottonCandyGZ]

openspeedtestというWebアプリを立てて、対向マシン上のブラウザでスピードテストをする手段が見栄え良いかもです。

[@syun6257]

奇遇ですね、私も先週40Gbpsを自宅に導入しました。

[@kadoyu]

主:「光ファイバーかっこいい」 ワイ: ????????????????????????

[@user-kg7gj3hy3r]

ファイバー直刺しとか夢でしかねぇ

[@ichi8273]

カラーコーン系KZbinrならぬ、消化器系KZbinrの始まり？

[@orangesky251]

iPerf使いましょう！

[@for49100]

30個目の高評価頂きました

[@for49100]

流れ作っちゃってすみませんでした

[@Spallet]

便乗してすいませんでした 2番目

[@cei3084]

こういう動画好きです(唐突な告白)

[@user-tj1wz8th9b]

このBGM...うっ、、頭が、、 気のせいだよなsouだよな

[@unchama]

ﾋﾟﾛﾋﾟﾛﾋﾟﾛ「そ　う　ち　ゃ　ん　ね　る」

[@Kiyoshi0091]

70個目の高評価頂きました！(便乗に便乗に便乗に便乗)

[@hage_jyoutou]

新人プログラマーですが、ネットワークの構造ってこうやって複雑なんですねー 知らない用語も多くて畑違いの事でももうちょっと調べていかないといけないなーと痛感する動画でした。

[@un_chi]

うんちゃまです❗🖐🥺

[@tanakahiroakijp]

かなりマニアックなロマンチャンネルですね。嫌いじゃないなあ

[@user-bf1xg6pv8h]

本当になに言ってるはわかんないけど面白い。

[@user-hd6ik7rp5g]

「嫁さんに購入決済頂いて...」で笑いましたｗ

[@araik6463]

逸般の誤家庭後編UPも( ｀・∀・´)ﾉﾖﾛｼｸ ターミネーター２のサイバーダイン社みたいな人も・・・・・日本じゃ無理か流石に。

[@seaf1681]

光のクリーナー買いましょう。（ちゃんとLC用のものを。。。）

[@unchama]

Amazonで適当にポチってしまった😇次の動画に登場する気がするのでまた教えてください😇

[@seaf1681]

"配線はセンス" 会社で先輩からずっと言われてます。うんちゃまさんの配線期待しております！ 今更ですが、東プレユーザーですね！東プレ3台とHHKB1台、使ってますが、いいですよねぇ～ P.S. 【悲報】このchの影響でラックが欲しくて欲しくて、、、、高いんで自分で作ってしまいました。 責任取ってちゃんとネットワーク周りも構築してください(笑)

[@Chisataki-is-god]

ノートのサーバ化は気をつけてくださいね・・・詰まったホコリが発火して家が丸焦げになるところでした・・・

[@user-wl4jl4rr5c]

サーバのディスク転送速度は 6Gbps のものでしょうか？ ネットワークの10Gbpsに負けないよう NVMe SSD + PCI-E で組んでみるのは如何でしょうか。

[@unchama]

SATA3なのでそうですね。NVMeに手を出したら今度は10Gがボトルネックになって40Gにステップアップしそうで怖いですね😇

[@user-hm9ui9lq2k]

NVMeのRAID ＋ 光ファイバーが最速ですがコスト面が。ハブやら諸々変えないと。自宅鯖でそこまでスピード求めないですね。 SATA-SSD + 10Gイーサで落ち着きそうです。

[@もう最高]

よく分からないってことと、 なんかすごい性能らしい、 ってことは分かった

[@user-cz3jf4xr5t]

最近見始めたのですが顔が似すぎてて鏡見てる気持ちです

[@user-kf1ql6ro7x]

ここのコメ欄、仕事でオンプレ環境触ってる人多そう。仕事より小規模でも自宅にサーバがあるってのがたまらないんだよねえ。

[@user-dn6jk8wy1q]

光ケーブルのキャップ外したら専用のクリーナーで掃除するのをお勧めします！損失が変わりますよ！

[@blueberrymascarpone2786]

では次は8Uブレード箱で... 《効用》 夜寝る必要がなくなる。 ブレーカーがパワーアップする。

[@blueberrymascarpone2786]

あと、誰かが up 主のところに IXIA を持ち込むのを希望。 だいぶ昔、ホームルータを作ってた客先はガチで持ってた...

[@user-gh1ey7vo3s]

37個目の高評価いただきました(便乗)

[@gasyano936]

ちょっと素人の質問なんですが… WANってどういう契約されてるんですか？ IPはお金出して固定されてるですか？ 昔、通信環境を上げようとしてチーミングとか考えましたが、「やってみたい」ではコストがかかりすぎるのでやめました。 うんちゃまさんで説明されている動画があれば教えてくださ～い。

[@user-vn3oz8kp2w]

ＰroxmoxＶEユーザーは信用できる。

[@user-bv6cm5mz7c]

10,000,000,193個目の高評価いただきました(便乗)

[@kaguya1048]

DACcableではなくLC-LCを使うのって何かいいメリットある感じですか？ご教授お願い致します！！

[@user-qn7pe8gs5r]

そんなにないです。 あるとすれば故障時に交換するコストが抑えられるぐらいですかね？ DACは丸ごと買い換え、LC-LCだとSFPor光ケーブルの部分交換でOK まあちゃんと切り分けできる前提ですが…

[@Nsonatrip]

まぁ、自宅環境だとそんなにメリットないかもしれませんが、FCケーブル+トランシーバーのほうが対応距離が長いのでラックやDC階、場合よってはDC棟間を跨げます。あとはup主も気にされてましたが、両端のトランシーバーを選択出来るので、ベンダーロックインに対応しやすい。あと自宅でのメリットはロマン。 逆にラック内でベンダーロックインが解決できてるなら、省電力で安価なDAC(Twinax)にメリットがあります。

[@user-ph4nc1qm2b]

55個目の高評価頂きました

[@ress997]

NASも10GbEにしたくなるんですね

[@unchama]

yeah....................(親指を立てて溶鉱炉に沈む)

[@Spallet]

34個目の高評価いただきました(便乗)

[@schwarzer148]

自宅鯖ほしいけど用途が無いっていう

[@sokoran]

ほんとそれ笑

[@krtop2004]

ロマンのかたまり！

[@seaf1681]

さて、動画頑張る宣言から何日たったかな？？ オブザーバーはうんちゃまの禁煙が続いていることがうれしいので 動画はいつまででも待てるのです（笑）

[@daichanlulu1108]

didnt understand anything, but youtube algorithm brought me here, and i im interested in networking too. 🧐

[@kintro6087]

アライドテレシスって、良いよね…名前がイカしてるよなぁ…昔から あとシスコシステムズとかもシンプルで良い どっちもガチガチの業務用ってイメージあるわ

[@blueberrymascarpone2786]

6:04 今の今まで NIC をちゃんと見てなかったけど、Mellanox (現在は NVIDIA) か... じゃあ次のネタは IB で決まりか。 自分は一時期仕事で HPC に巻き込まれていたので、少なくとも構想レベルでは >= 10G Ethernet の対抗候補に入ってる。スイッチは面倒なので Back-to-back が必須だけど。

[@yuutosi]

Welcome to underground…

[@takayasushuto4176]

個人だとストレージって費用が高いのでなかなか手が出せないですよね。 SSDでのRAID構成で分散ストレージが組めたら最高ですね。 ところで、SFP2台導入して微々たるものだとは思いますが、電気の使用量は上がりませんでしたか？

[@unchama]

企業で使うようなFC-SANとかの専用ストレージは流石に手が出ないですね……なんとか添い寝可能な範囲で、実用範囲のランダムアクセスと耐障害性が手に入れられれば良いなーという思いで模索しちょります。電気代はまだ見ていません😇が、言うほど電気代かかる代物でも無かったはずです。ホンマか？？？

[@takayasushuto4176]

@@unchama SFP一途で数Wのイメージですね。しれてますかね。笑い ストレージ追求すると大変ですからね

[@blueberrymascarpone2786]

@@unchama 今回使用したものとは別ですが、Cisco のだと光は ER や ZR などでよほど遠くへ飛ばさない限り 1W (SFP 仕様上限) に収まってます。 そんな中、SFP-10G-T-X は 2.5W 食ってくれるので、10GBASE-T がいかにムチャな規格かが分かります。

[@yasyakamitouma]

今やるんだったらデスクトップの方はSSDじゃなくてNVMeのほうがPCIeに直接刺せたり専用スロットがあるMBもあるのでそっちのほうがよいのでは・・・ ただ、それでも10Gbeのワイヤースピードは出ないと思います。ロマンを求めるのなら、メモリ爆積してメモリ上にOS載っけるとかしないと！ｗ

[@blank_pseudonym]

ど素人なんですがLANとDACとはどう違うんでしょうか？DACを使うメリットとかあるんですか？

[@Nsonatrip]

up主も呪いにかかってますが、10gでRJ45ケーブルを避けるのは、一般的公式見解です。 発熱と消費電力がヤバいのと、エイリアンクロストーク(ノイズ干渉)が大きな課題です。 誰かが同じようなニュアンスをコメントしてましたが、RJ45が許されるのは1gbeまでだよね〜　　です。

[@minerjirou]

40個目の高評価いただきました(便乗に便乗)

[@user-tv8ri8qj8g]

消化器って意外と何万も死なすよね？ でもサーバー用にはそれではダメなのでは？w レース用の電気機器へのダメージ和らげる消火器をねだろうw 増えたり消えたり

[@TOCHIKN]

WANも10Gにしたい

[@suou7938]

ノーパソ閉じたまま負荷かけない方が良くない？ ウチの、動画エンコしてる時に閉じてたら、キーボード下の天板がはげて浮いてきたんだけど。

[@user-sk777-Yt]

122個目の高評価頂きました。(便乗.....)

[@user-xf5xd7pd7e]

マイクラサーバクラスの規模でディスクの速度が遅いのであれば、Ram Disk構築した方が速度出ると思いますがね....

[@strugglecrow]

各マシンのストレージ構成が知りたいです

[@hirotsugukajiyama]

リンクアップの使い方間違っているような

[@otsukaPPP]

ノーパソのM.2スロットに10gbe NIC繋げれば良いのでは

[@benikoji3]

PCに端子があればThunderbolt 3であるんじゃね？

[@otsukaPPP]

@@benikoji3 thunderbolt接続のNICはあるけど、このPCにはthunderbolt端子がないらしい

[@PnutsDC]

そこだけ10GBPSにしても、家から外への回線がその速度まで 対応してないよねたぶん・・・

[@ress997]

あれ、nuro光使ってるって昔言っていなかったっけ？

[@unchama]

上流がRTX830くんなので、対インターネッツはギガビット止まりですね。内部の仮想化やら分散ストレージやらを快適に使うための10G！ってところです。

[@yoshi_yt]

なんで3台必要なんですか？って思いました。

[@mrhz0122]

バックアップのみをAWSにするなら いっそのこと全部オンプレミスからクラウドに移行してみては？

[@unchama]

それは流石に高いですwwww 部分的にクラウド使ってますけど、自宅サーバーではどうしようもないDDoS対策周りとか、費用がそんなにかからなくて便利な代物(google container registry+コンテナ脆弱性スキャン,aws s3 glacierあたり？)を使う程度に留まってますネ。マイクラ鯖本体を載せようと思うとお財布の紐的な意味でなかなか手が出ないというのが実情です。

[@redundant122]

最近pc買ったばかりで何を言ってるのか全くわからないけど面白いw

[@user-eu3iy1zb4d]

鯖経営するのとマイニングするのどっちがいいの？

[@n3c029]

鯖経営は稼げる要素ほぼないしマイニングはマイナス どっちも稼げなそう

[@siba0504k]

両方が一番な気がする cpu Minecraft gpu マイニング

[@dozenedff7435]

そもそもお金稼ぎ目的で鯖運営とか逸般の誤家庭とかやってる奴いないだろ

[@tamagori]

あのちっちゃい癖に高いやつ

[@user-qq2le9wf8d]

iperf3でやってほしかったなーー

[@user-uq2xi4je1b]

今最高に興味あるやつーーーーー＾＾

[@michaeldaniel8391]

No entendido na pero ta bien

[@user-fg2gf8nx6b]

2億5829個目の高評価いただきました

[@Nsonatrip]

iperf3 で10g側のretr の値が異常に高い件 NICのオフロード機能切ったら改善しないかしら？TSOとかの。よく知らんけど。

[@unchama]

ぬお？？全く触ってないですね。ちょっと見てみます。 追伸ですが、動画見てます！！！！！！！

[@Nsonatrip]

あ、ありがとうございます。。

[@unchama]

guest OS側のTSOを切ったら改善しました。が、速度としては9Gbps→7Gbpsへの低下がみられました。必要十分といわれればそうですし、アプリケーション的には再送ない方が安定すると思うので、とりあえずこれで様子見かなーと思っています。助言ありがとうございました！

[@Nsonatrip]

@@unchama お疲れ様です。ご連絡、ご対応ありがとうございます。すみません。Twitterで上げてたiperf3の情報はゲストOS間の結果でしたでしょうか？あとMTUっていじってますでしょうか？

[@unchama]

@@Nsonatrip ゲストOS間の結果です！それぞれ別のProxmoxホストに乗ったVMです(10G跨いでます)。MTUは何にも弄ってませんネ。

[@user-qn7pe8gs5r]

自宅で10Gって何するんよ？笑

[@yuuki_01]

アライドテレシスのコマンド分からないや

[@pi-mannokanzume]

10gpts... 続きを読む