人工智能正在改變行業的每一個角落。機器學習算法正在優化全球物流，而像 ChatGPT 這樣的生成式 AI 工具正在重塑日常工作和溝通。根據 Statista 的數據，預計到2030年全球人工智能市場將達到8260億美元。盡管這種增長正在重塑每個行業的組織的運營和成果，但它也給管理 AI 工作負載的基礎設施帶來了重大挑戰。
AI 接入的快速增長
AI 已經從科幻小說走向現實，并且迅速成為商業戰略以及許多行業發展方向的關鍵因素。Gartner 報告稱，70%的企業高管正在積極探索為他們的組織采用生成式 AI，麥肯錫強調，72%的公司已經在至少一個業務功能中采用了 AI。?
?
以下是一些 AI 如何改變行業的例子：?
-
醫療保健：AI 驅動的診斷工具將疾病檢測率最高提高了30倍，而藥物發現的時間線則從數年縮短到數月。?
-
零售：電子商務平臺使用 AI 來提供個性化推薦，從而實現了5%到25%的收入增長。?
-
制造業：AI 在預測性維護中的應用可以幫助提高25%的生產力，降低25%的維護成本，并減少70%的機器停機時間。?
?
AI 是一個強大的工具，無論在哪里使用都能帶來深遠的影響。但它需要一個復雜的基礎設施，包括電力分配、冷卻系統、計算、GPU、服務器和網絡設備，而最大的挑戰在于管理這個基礎設施。?
AI 獨有的基礎設施挑戰
AI 環境復雜，工作負載資源密集又對延遲敏感。這意味著組織面臨著一些 AI 獨有的挑戰：?
?
-
能源需求飆升：AI 機架需要的功率在40千瓦到200千瓦之間，是傳統 IT 設備的10倍。在 AI 數據中心實現能源效率是首要任務，尤其是在數據中心占全球電力消耗1%的背景下。?
-
停機成本：AI 系統特別容易受到中斷的影響，這可能會產生連鎖反應并推高成本。根據 Uptime Institute 的估計，單臺服務器故障可能會破壞整個模型訓練過程，導致企業每分鐘停機成本高達9000美元。?
-
網絡安全風險：AI 處理敏感數據，使數據中心成為被攻擊的主要目標。Sophos 報告稱，2024年，59%的組織遭受了勒索軟件攻擊，恢復的平均成本（不包括贖金支付）為273萬美元。?
-
運營復雜性：人工智能環境依賴于多種硬件和軟件系統。有效監控和管理這些組件需要實時了解熱條件、濕度、顆粒物以及其他環境和設備相關因素。
帶外管理在 AI 中的作用
帶外（OOB）管理是組織擴展其 AI 能力的必備條件。與依賴生產網絡的傳統帶內系統不同，OOB 獨立運行，為團隊提供不間斷的訪問和控制能力。即使生產網絡離線，他們也可以遠程執行對 AI 基礎設施的監控和維護、故障排除以及完整的系統恢復等任務。?
?
帶外管理如何解決關鍵挑戰：?
?
-
最小化停機時間：有了OOB，IT 團隊可以通過遠程故障排除大幅減少停機時間，而不是派遣團隊到現場。?
-
能源效率：實時監控和優化電力分配使組織能夠消除僵尸服務器和其他低效設備。?
-
增強安全性：OOB 系統按照 CISA 的最佳實踐建議，將流量管理與生產網絡隔離，從而減少攻擊面并降低網絡安全風險。?
-
提高運營效率：通過 OOB 進行遠程監控，可提供環境條件和設備健康狀況的完整視圖，因此團隊可以主動操作并在故障發生之前解決問題。
帶外管理在 AI 中的用例
AI 的用例不勝枚舉，但組織常常忽視在其環境中實施帶外管理。除了在數據中心使用 OOB 外，以下是帶外管理在 AI 中的一些真實案例。
?
- 自動駕駛
自動駕駛技術的開發者發現管理其高密度人工智能集群非常困難，尤其是因為停機會延遲測試和開發。通過實施帶外管理，這些開發者可以將恢復時間從數小時縮短到數分鐘，并縮短開發時間。
?
- 金融服務公司
銀行部署 AI 以檢測和打擊欺詐，但這些耗能的系統常常導致數據中心能源使用效率低下。通過帶外管理，他們可以深入了解 GPU 和 CPU 的利用率。這樣不僅可以消除能源浪費，還可以優化資源以提高模型處理速度。
?
- 大學 AI 實驗室
大學在超級計算機上進行人工智能研究，但這也給底層基礎設施帶來了高溫度的負擔，可能會導致故障。帶外管理可以提供對空氣溫度、設備風扇速度和冷卻系統的實時可見性，以預防基礎設施故障。
