Cover Image for 自宅にSFP+で10GbE環境を構築した

自宅にSFP+で10GbE環境を構築した

はじめに

アーリーアダプターには普及してきた10Gネットワーク環境ですが、一般の家庭にはほぼ普及しておらずコンシューマー機器の弾数も非常に少ないのが現状です。
さらに、供給数が少ない分コストが非常に高いです。
TP-Linkの5ポートスイッチが3万円強、今私の自宅で使用している、八丁スイッチでお馴染みXikestorの8ポートスイッチでもだいたい3万円程度掛かります。

また、10G通信は従来よりさらに高速な処理が要求され、エラー訂正とA/D変換も加わることでかなりの電力を消費します。
NIC・スイッチともに発熱が大きく、最近はNICの挙動が不安定になってきたので、今回は自宅ネットワークをSFP+と光ファイバーでリプレースしていきます。

パーツ

今回使用するパーツたちです。

NIC

今回使用したNICは、82599ES搭載のX520-DA2互換ボードです。
互換ボードだからか、ベンダーロックはありませんでした。
なぜかリンクランプがついているモデルとついていないモデルが混ざっていました。

1746109834178.jpg

10Gb SFP+ ネットワークカード Intel 82599ES搭載
Smarter Shopping, Better Living! Aliexpress.com
10Gb SFP+ ネットワークカード Intel 82599ES搭載 favicon https://ja.aliexpress.com/item/1005008571836780.html
10Gb SFP+ ネットワークカード Intel 82599ES搭載

SFP+モジュール

ノーブランドのSFP+モジュールです。
SFP-10G-SR互換だと思います。
aliexpressのよりどりで1つ500円だったのでまとめ買いしました。

1746109834185.jpg

10GBASE-T SFP+ to RJ45 銅線トランシーバーモジュール DDM 30m Cisco、MikroTik、Ubiquiti、TP-Linkスイッチ対応 - AliExpress 509
Smarter Shopping, Better Living! Aliexpress.com
10GBASE-T SFP+ to RJ45 銅線トランシーバーモジュール DDM 30m Cisco、MikroTik、Ubiquiti、TP-Linkスイッチ対応 - AliExpress 509 favicon https://ja.aliexpress.com/item/1005005199189029.html
10GBASE-T SFP+ to RJ45 銅線トランシーバーモジュール DDM 30m Cisco、MikroTik、Ubiquiti、TP-Linkスイッチ対応 - AliExpress 509

10G SFP+スイッチ

HORACO?とかいうメーカーの8ポートスイッチを購入しました。
中華製ですがしっかりした作りです。

1746109834169.jpg

HORACO 10Gbe SFP+ イーサネットスイッチ 8 ポート 10000Mbps 光 SFP+ ネットワークスイッチプラグアンドプレイホームラボアンマネージドスイッチ - AliExpress 7
Smarter Shopping, Better Living! Aliexpress.com
HORACO 10Gbe SFP+ イーサネットスイッチ 8 ポート 10000Mbps 光 SFP+ ネットワークスイッチプラグアンドプレイホームラボアンマネージドスイッチ - AliExpress 7 favicon https://ja.aliexpress.com/item/1005006225296112.html
HORACO 10Gbe SFP+ イーサネットスイッチ 8 ポート 10000Mbps 光 SFP+ ネットワークスイッチプラグアンドプレイホームラボアンマネージドスイッチ - AliExpress 7

10GBASE-T <-> SFP+トランシーバ

こちらはルーターとスイッチを接続するために購入しました。
このモジュールだけ異様に発熱します。

1746109834161.jpg

10G SFP+ to RJ45 銅線モジュール 30M
Smarter Shopping, Better Living! Aliexpress.com
10G SFP+ to RJ45 銅線モジュール 30M favicon https://ja.aliexpress.com/item/1005005712672944.html
10G SFP+ to RJ45 銅線モジュール 30M

OM3 LC-LCケーブル

こちらもかなりしっかりした作りで、個別パッケージでした。
必要そうな本数を適当に注文しました。

1746109834148.jpg

VANDESAIL LC-LC OM3 光ファイバーケーブル | デュプレックス マルチモード 10G ファイバー パッチ コード、0.2 ~ 4m (0.65 ~ 12.8FT) - AliExpress 509
Smarter Shopping, Better Living! Aliexpress.com
VANDESAIL LC-LC OM3 光ファイバーケーブル |   デュプレックス マルチモード 10G ファイバー パッチ コード、0.2 ~ 4m (0.65 ~ 12.8FT) - AliExpress 509 favicon https://ja.aliexpress.com/item/1005006853865830.html
VANDESAIL LC-LC OM3 光ファイバーケーブル |   デュプレックス マルチモード 10G ファイバー パッチ コード、0.2 ~ 4m (0.65 ~ 12.8FT) - AliExpress 509

SFPクリーナー

あったほうがいいとどこかで見たので一応買いました。
突っ込んでカッチンするとクリーニング完了らしいです。

1746109834129.jpg

1746109834139.jpg

ja.aliexpress.com
ja.aliexpress.com favicon https://ja.aliexpress.com/item/1005006456065623.html

コスト

今回リプレースに掛かったコストです。

品名個数単価
X520-DA2互換NIC31689円
SFP-10G-SR互換モジュール6500円
HORACO 10Gスイッチ110664円
10GBASE-T <-> SFP+トランシーバ12751円
OM3 LC-LCケーブル 0.5m2676円
OM3 LC-LCケーブル 5m11020円
SFPクリーナー1342円
累計24,196円

トータルで2万5千円程度で構築できました。
10GBASE-Tで構築した場合、NICやスイッチが高価なためトータルで5万円程度かかりますが、今回は半額で構築することができました。
これから自宅に10Gネットワークを作りたい場合は、SFP+で構築することをおすすめします。

作業

作業自体はとても簡単です。

SFP+とケーブルを接続

まずはケーブルとモジュールを接続します。
いきなり接続するのではなく、SFPクリーナーでモジュールとケーブル端をクリーニングしてから接続します。

モジュールにクリーナーを突っ込んで、カチッというまで押し込めばOKです。
1746109834129.jpg

ケーブル端のクリーニングをする場合は、キャップをつけてから押し込みます。

1746109834139.jpg

クリーニングが終わったら、モジュールとケーブルを接続します。

1746109834121.jpg

これ以降、ケーブルを最小曲げ径より曲げると折れて断線するので気を付けましょう。

ケーブルが完成したら、NICとスイッチにそれぞれ挿入して終了です。

1746110953545.jpg

一番右はルーターから10GBASE-Tで引っ張ってきています。

1746110953552.jpg

まとめ

Windows11でX520の互換ボードを使用する場合は、IntelからWindows10用ドライバを落としてzipを展開し、デバイスマネージャーで展開したフォルダを選択してドライバを当ててください。

www.intel.co.jp
www.intel.co.jp favicon https://www.intel.co.jp/content/www/jp/ja/download/18293/intel-network-adapter-driver-for-windows-10.html

もしベンダーロックのかかったIntel NICを引いてしまった場合は、EEPROMを書き換えると使えるようになるらしいです。

Intel X520-da2のベンダーロックを解除する - Qiita
はじめに 先日,自宅のネットワーク環境を10GbEにするために,中古のX520-da2を某オークションにて購入しました。 安かったので深く調べずに落札してしまいましたが,よくよく調べてみるとベンダーロック(IntelのSFP+モジュールでしか動作しない)が掛かっているらし...
Intel X520-da2のベンダーロックを解除する - Qiita favicon https://qiita.com/hkaomua/items/63989a89549b1248c4f1
Intel X520-da2のベンダーロックを解除する - Qiita

NIC

image.png

# ethtool -m enp2s0f1
        Identifier                                : 0x03 (SFP)
        Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
        Connector                                 : 0x07 (LC)
        Transceiver codes                         : 0x10 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00
        Transceiver type                          : 10G Ethernet: 10G Base-SR
        Transceiver type                          : Ethernet: 1000BASE-SX
        Encoding                                  : 0x06 (64B/66B)
        BR, Nominal                               : 10300MBd
        Rate identifier                           : 0x02 (8/4/2G Rx Rate_Select only)
        Length (SMF,km)                           : 0km
        Length (SMF)                              : 0m
        Length (50um)                             : 80m
        Length (62.5um)                           : 30m
        Length (Copper)                           : 0m
        Length (OM3)                              : 300m
        Laser wavelength                          : 850nm
        Vendor name                               : OEM
        Vendor OUI                                : 00:02:c9
        Vendor PN                                 : SFP-10G-SR
        Vendor rev                                : A
        Option values                             : 0x00 0x3a
        Option                                    : RX_LOS implemented
        Option                                    : TX_FAULT implemented
        Option                                    : TX_DISABLE implemented
        Option                                    : RATE_SELECT implemented
        BR margin, max                            : 0%
        BR margin, min                            : 0%
        Vendor SN                                 : 230705ME1363
        Date code                                 : 230705
        Optical diagnostics support               : Yes
        Laser bias current                        : 5.250 mA
        Laser output power                        : 0.6261 mW / -2.03 dBm
        Receiver signal average optical power     : 0.5037 mW / -2.98 dBm
        Module temperature                        : 41.81 degrees C / 107.26 degrees F
        Module voltage                            : 3.3468 V
        Alarm/warning flags implemented           : Yes
        Laser bias current high alarm             : Off
        Laser bias current low alarm              : Off
        Laser bias current high warning           : Off
        Laser bias current low warning            : Off
        Laser output power high alarm             : Off
        Laser output power low alarm              : Off
        Laser output power high warning           : Off
        Laser output power low warning            : Off
        Module temperature high alarm             : Off
        Module temperature low alarm              : Off
        Module temperature high warning           : Off
        Module temperature low warning            : Off
        Module voltage high alarm                 : Off
        Module voltage low alarm                  : Off
        Module voltage high warning               : Off
        Module voltage low warning                : Off
        Laser rx power high alarm                 : Off
        Laser rx power low alarm                  : Off
        Laser rx power high warning               : Off
        Laser rx power low warning                : Off
        Laser bias current high alarm threshold   : 12.000 mA
        Laser bias current low alarm threshold    : 0.000 mA
        Laser bias current high warning threshold : 11.000 mA
        Laser bias current low warning threshold  : 1.000 mA
        Laser output power high alarm threshold   : 1.2589 mW / 1.00 dBm
        Laser output power low alarm threshold    : 0.1995 mW / -7.00 dBm
        Laser output power high warning threshold : 0.7943 mW / -1.00 dBm
        Laser output power low warning threshold  : 0.3162 mW / -5.00 dBm
        Module temperature high alarm threshold   : 80.00 degrees C / 176.00 degrees F
        Module temperature low alarm threshold    : -10.00 degrees C / 14.00 degrees F
        Module temperature high warning threshold : 75.00 degrees C / 167.00 degrees F
        Module temperature low warning threshold  : -5.00 degrees C / 23.00 degrees F
        Module voltage high alarm threshold       : 3.6300 V
        Module voltage low alarm threshold        : 2.9700 V
        Module voltage high warning threshold     : 3.4700 V
        Module voltage low warning threshold      : 3.1300 V
        Laser rx power high alarm threshold       : 1.5848 mW / 2.00 dBm
        Laser rx power low alarm threshold        : 0.0398 mW / -14.00 dBm
        Laser rx power high warning threshold     : 1.0000 mW / 0.00 dBm
        Laser rx power low warning threshold      : 0.0630 mW / -12.01 dBm

iperf3

# iperf3 -s
-----------------------------------------------------------
Server listening on 5201 (test #1)
-----------------------------------------------------------
Accepted connection from 192.168.1.15, port 54118
[  5] local 192.168.1.100 port 5201 connected to 192.168.1.15 port 54119
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.10 GBytes  9.45 Gbits/sec                  
[  5]   1.00-2.00   sec  1.10 GBytes  9.49 Gbits/sec                  
[  5]   2.00-3.00   sec  1.10 GBytes  9.46 Gbits/sec                  
[  5]   3.00-4.00   sec  1.10 GBytes  9.49 Gbits/sec                  
[  5]   4.00-5.00   sec  1.10 GBytes  9.49 Gbits/sec                  
[  5]   5.00-6.00   sec  1.10 GBytes  9.49 Gbits/sec                  
[  5]   6.00-7.00   sec  1.10 GBytes  9.47 Gbits/sec                  
[  5]   7.00-8.00   sec  1.10 GBytes  9.48 Gbits/sec                  
[  5]   8.00-9.00   sec  1.10 GBytes  9.47 Gbits/sec                  
[  5]   9.00-10.00  sec  1.10 GBytes  9.49 Gbits/sec                  
[  5]  10.00-10.02  sec  17.5 MBytes  9.46 Gbits/sec                  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.02  sec  11.1 GBytes  9.48 Gbits/sec                  receiver