你的 GPU 正在打瞌睡嗎？
生成式人工智能（Generative AI）以前所未有的方式激發了我們的創造力。從預測性維護、患者診斷到增強客戶支持等領域，生成式 AI 技術的應用似乎沒有邊界。而這一技術背后的許多創新得益于圖形處理單元（GPU）提供的加速計算能力。GPU 通過并行化矩陣運算，使得生成式 AI 中龐大的語言模型能夠同時處理海量數據，從而顯著加快了訓練時間。這種計算能力的提升使研究人員能夠高效地訓練擁有數百萬或數十億參數的復雜語言模型。
然而，盡管 GPU 對生成式 AI 和整個數據科學領域產生了深遠的影響，但人們往往傾向于過度簡化問題，認為 GPU 是使 AI 項目成功的唯一要素，且沒有任何附加條件。這種盲目的信仰往往會引起意外的問題，延遲數據科學項目的推進，甚至可能導致項目失敗。以下是在構建 AI 項目時需要避免的與 GPU 相關的五大誤解。
我的 GPU 正在為我帶來最快的結果
GPU 實現了龐大的并行計算，每個核心都專注于高效的運算，從而顯著降低了基礎設施成本，為端到端數據科學工作流提供了卓越性能。目前，12 顆英偉達 GPU 的深度學習性能相當于 2,000 顆現代 CPU。而在相同服務器上再增加 8 個 GPU，則可以提供多達 55,000 個額外的內核。雖然 GPU 加速了計算過程，但研究表明，它們有一半的時間都在等待數據，這意味著你最終還是需要等待結果。GPU 計算能力的提高需要更強大的網絡和存儲支持。
在一個 Epoch（將所有訓練樣本訓練一次的過程）中，高達 70% 的時間都用在數據傳送到 GPU 之前。在數據管道（Data Pipeline）的各個階段，需要花費大量時間在不同系統之間復制數據——
NAS 用于持久存儲，本地文件系統或并行文件系統用于快速存儲，對象存儲用于歸檔數據。這樣的組合使得充分利用 GPU，以實現更短的 Epoch 和更快的洞察變得充滿挑戰。
WEKA 的 AI 數據平臺解決了當今企業在本地、云端或不同平臺上運行的技術計算工作負載和其他高性能應用所面臨的存儲挑戰。其零拷貝架構使整個數據處理流程在同一個存儲后端運行，消除了數據拷貝過程中的成本和延遲。通過 WEKA，您能夠加速 GPU 驅動的數據管道的每一步，從數據攝取、清理、建模、訓練、驗證到推理，加速實現業務成果。
吞吐量為王，吞吐量為皇
雖然很容易把吞吐量看作是優化 GPU 使用的“唯一”指標，但吞吐量并不能準確反映 AI工作負載的全部特性。為了優化數據處理流程，也就是數據管道，您需要關注的不僅僅是向 GPU 提供大量數據——IOPs和元數據同樣至關重要。
數據管道的每個步驟通常擁有完全不同類型的數據。當處理數據管道中各個步驟的不同的IO需求時，傳統存儲可能出現問題，因為其性能調優通常只適用于特定的數據類型或吞吐量性能配置，導致數據孤島和管理困擾。根據工作負載的不同，除了關注吞吐量外，性能配置文件還需提供 IOPS、延遲和元數據操作。有些步驟需要低延遲和隨機小IO，而其他步驟則需要高吞吐量。有一些流程中的子步驟需要同時混合使用這兩種功能。在大多數環境中，多個數據管道將同時運行，但處于不同階段，因此需要同時處理不同的 IO 配置文件，WEKA 提供了一個數據平臺，能輕松處理并發的高帶寬和高 IOP 需求。
WEKA在各方面都表現出色，能夠將多個存儲平臺合并成一個，從而消除了在平臺之間復制數據所浪費的時間。每個處理階段在 WEKA 上的運行速度也超過其他平臺。通過所有可用的協議，WEKA 向每個應用程序提供相同的數據集，最終消除了許多繁瑣的技術參數調整，為用戶提供了簡化的高性能存儲體驗。
GPU 驅動的 AI 工作負載在處理小文件時總是面臨挑戰
訓練大多數生成式 AI 應用所需的大型語言模型（LLM）涉及處理大量小文件，包括數以百萬計的小圖像、用于分析的每臺物聯網設備的日志等。一旦進入數據管道，ETL（抽取、轉換、加載）類型的工作會對數據進行規范化處理，然后采用隨機梯度下降法來訓練模型。這帶來了一個龐大的元數據和隨機讀取的問題，尤其是在 AI 深度學習數據管道的第一階段，被許多小IO請求占據，很多存儲平臺難以有效處理這種情況。
WEKA 的架構為這一難題提供了解決方案。通過在 NVMe 設備中對齊所有數據請求，WEKA 不僅能高效地處理小型 IO，還能通過聚合所有小型 IO 提供大帶寬。此外，WEKA 還能自動擴展集群內的虛擬元數據服務器，確保隨著集群規模的擴大，您可以處理越來越多的元數據操作。結果顯而易見：一位進行深度學習的 WEKA 用戶平均 IOP 為 420 萬，速度為 250GB/s，其中大部分數據是10 千字節起的小文件。
這些數據表明，WEKA 的架構有效解決了處理小文件的問題，為用戶提供了卓越的性能。
存儲？GPU 的核心是計算能力
人工智能工作負載對性能、可用性和靈活性的要求越來越高，而傳統的存儲平臺卻難以滿足這些需求。為 AI 工作負載選擇合適的存儲將極大影響滿足業務要求的能力。成功的 AI 項目在計算和存儲需求方面通常會迅速增長，因此需要認真考慮這種增長對存儲選擇的影響。
然而，大多數 AI 基礎設施的關注和花費都主要集中在 GPU 和網絡上–這可能占用項目預算的 90%。
這導致只有極小一部分預算被用于存儲，以提升系統性能。對于 AI 存儲而言，規模化高性能與可用性、靈活性和易用性等 “傳統 “要求同等重要。通常，只有在部署完成之后，企業才意識到他們的存儲空間嚴重不足，無法滿足不斷增長的訓練數據集，從而陷入了一個實用性遠不如預期的環境。
WEKA 數據平臺能夠提供從 TB級到 EB 級的線性擴展，重新定義了云時代的可擴展性。通過統一的全局命名空間，客戶可以在不影響性能的前提下，在各個可能的維度上進行擴展，以滿足其不斷增長的 AI 工作負載需求。通過智能分層技術，系統能夠自動實現跨文件和對象進行擴展，通過擴展 NVMe 層以提高性能，擴展對象層以提高容量。
GPU 最快的存儲是本地存儲
隨著 AI 數據集的不斷增長，加載數據所需的時間開始影響工作負載的性能。以往，讓 GPU 獲得充足數據的最佳方法是從本地 NVMe 存儲中提取。這樣可以避免通過存儲陣列和網絡傳輸數據引起的瓶頸和延遲。但是，隨著 GPU 速度的提升，服務器主機無法以足夠快的速度提供數據。GPU 越來越受制于慢速 IO，面臨數據饑渴的問題。
WEKA 可以在最快的推理和最高的圖像/秒基準下提供比本地存儲更快的 IO 速度。本地存儲受到本地服務器資源的限制，例如 PCIE 通道數量和可用于服務 IO 的隊列。WEKA 將多臺服務器的資源整合到任何 GPU 上。通過實現對所有服務器的智能并行訪問，可以平衡負載請求，避免可能導致訪問減緩的臨時 IO 停滯。采用新的并行數據平面和控制平面協議，解決了傳統網絡數據訪問的問題，確保以最快的方式將數據提供給 GPU，這就是 WEKA 數據平臺的優勢。
WEKA 是專為 AI 和云而生的全新數據平臺。其軟件定義、云原生數據平臺可將停滯的數據孤島轉化為流式數據管道，為人工智能和高性能計算等下一代工作負載提供澎湃動力。
聯系瑞技
若您有關于 AI、機器學習、HPC 等問題，歡迎咨詢 WEKA 中國區合作伙伴 —— 瑞技科技。
400-8866-490?? |? sales.cn@bytebt.com
