跳至主要内容

06 · 實體網路拓樸

每台主機接線 · 4 × 25G 資料埠 + 1 × 1G BMC — 18 台主機接線相同。 · 互動原版 ↗

spine-1100Gspine-2100G2 × 100G 上行leaf-1a · ToR機櫃交換器 · 25G 埠leaf-1b · ToR機櫃交換器 · 25G 埠MLAG 配對 · peer linkOOB 管理交換器VLAN 90 · 隔離HV-XX · 任一 HARVESTER 節點 · 18 台主機接線相同nic-0 25Gnic-1 25Gnic-2 25Gnic-3 25Gbmc 1Gbond0 · LACP (nic-0 + nic-1)管理 VLAN 100 · pod/CNI 疊加 · 客體 VLAN 300–399bond0 — 各接一條 25G 至兩台 ToRbond1 · LACP (nic-2 + nic-3)Longhorn 200 · Ceph 210 / 211 · MTU 9000bond1 — 各接一條 25G 至兩台 ToRbmc · IPMIlights-out 管理 · 不綁定、不路由

Bond​

bond0 · LACP (nic-0 + nic-1)​

應用側:管理 VLAN 100 · pod/CNI 疊加網路 · 客體 VLAN 300–399。各接一條 25G 至兩台 ToR。

bond1 · LACP (nic-2 + nic-3)​

儲存側:Longhorn VLAN 200 · Ceph public 210 · Ceph cluster 211 · MTU 9000。各接一條 25G 至兩台 ToR。

bmc · IPMI​

Lights-out 管理,接隔離的 OOB 交換器(VLAN 90) · 不綁定、不路由。

術語​

  • 「應用程式 2 張網卡」→ bond0:2 × 25G 埠組成一個 LACP bond
  • 「儲存 2 張網卡」→ bond1:2 × 25G 埠組成一個 LACP bond
  • LACP bond — 兩個埠視為一條連線:2 倍頻寬,單埠或單線故障仍可運作
  • MLAG — bond 的兩條線分別接到兩台不同的 ToR 交換器,整台交換器故障也能撐住
  • VLAN tagging (802.1Q) — 多個網路共用一個 bond,以標籤隔離
  • ToR / leaf — 機櫃頂端交換器;每個機櫃都有一組冗餘配對

故障行為​

  • 線材或埠故障 → bond 靠另一條 25G 連線持續運作
  • ToR 交換器故障 → 兩個 bond 都經由存活的 leaf 持續運作
  • 儲存重建風暴 → 只會塞滿 bond1;bond0 上的應用程式流量不受影響