AI 正在推動對更先進計算基礎設施的需求,包括網絡。網絡帶寬的不足常常成為驅動 AI 應用信息處理的瓶頸。計算基礎設施的速度僅取決于其最弱環節,而這個環節往往就是網絡。通過與NVIDIA合作,Supermicro 已經在其多個系統中驗證了新的 NVIDIA Spectrum-X 網絡平臺,允許AI 工作負載的網絡性能提高多達1.6倍,同時增加能效并降低總體成本。結合 NVIDIA Spectrum-4以太網交換機和 NVIDIA BlueField?-3 SuperNIC,客戶現在可以最大化 AI 云處理基礎設施的性能。
目前正在驗證配備 NVIDIA Spectrum-X 網絡解決方案的系統包括 Supermicro 明星 GPU 超級服務器,包括4U、5U和8U,并支持以下系統中的 NVIDIA GPU:
- ?搭載 NVIDIA HGX H100 8-GPU 系統的 Supermicro 8U GPU 服務器:?
- SYS-821GE-TNHR (8U) – Intel CPU?
- AS-8125GS-TNHR (8U) – AMD CPU?
- SYS-421GU-TNXR (4U) – Intel CPU?
- 搭載 NVIDIA H100 PCIe GPU 或 NVIDIA L40S GPU 的 Supermicro 通用 GPU 服務器(4U和5U):?
- SYS-521GE-TNRT (5U) – Intel CPU?
- SYS-421GE-TNRT (4U) – Intel CPU?
- SYS-421GE-TNRT3 (4U) – Intel CPU?
- AS-4125GS-TNRT (4U) – AMD CPU?
- AS-4125GS-TNRT2 (4U) – AMD CPU?
這些由 NVIDIA Spectrum-X 驅動的 Supermicro 系統減少了基于大型變換器的生成式 AI 模型的訓練和推理時間,這對于從 AI 中快速獲得數據至關重要。
除了為 AI 極大提高1.6倍的網絡性能外,配備 NVIDIA Spectrum-X 網絡的 Supermicro 系統還從多租戶環境中隔離工作負載性能中受益。允許工作負載獨立于移動數據,不受可能阻礙性能的“嘈雜鄰居”干擾,這對于高性能應用至關重要。此外,隔離網絡工作負載還提供了額外的安全優勢,可以防止一個工作負載中的惡意行為者干擾另一個獨立的工作負載。NVIDIA Spectrum-X 通過為每個租戶分配安全的虛擬私有云(VPCs)來實現這種增強的工作負載隔離。
能效一直是運行高性能、高功率 AI 系統時的主要關注點。通過在相同的網絡功耗范圍內提供更好的網絡性能,NVIDIA Spectrum-X 可以為更節能的 AI 環境做出貢獻,從而降低整體功耗和總體擁有成本。對于控制能源成本的用戶,配備 Spectrum-X 的 Supermicro 系統是一個不錯的選擇。
NVIDIA Spectrum-X 完全基于標準設計,并且與基于以太網的堆棧可以實現完全互操作。此外,配備 NVIDIA Spectrum-X 的 Supermicro 服務器可以幫助客戶克服部署 AI 的最大挑戰——可擴展性。憑借在單個交換機中支持256個200G端口或在兩層葉/脊拓撲中支持16K端口的能力,這些系統非常適合需要不斷擴展基礎設施的組織。
隨著 Supermicro 努力滿足不僅需要高性能網絡而且需要云多租戶的 AI 客戶的需求,新系統利用遠程直接內存訪問(RDMA)、收斂以太網(RoCE)擴展來支持性能和多租戶。與傳統以太網相比,其性能大幅增長。
對于需要更快獲得關鍵數據、多租戶和未來可擴展性的客戶,這些配備 NVIDIA Spectrum-X 的Supermicro 系統非常適合他們的需求。
