挑戰：管理海量的汽車數據
隨著科技不斷融入汽車制造領域，效率、質量控制和創新水平不斷提高。這種趨勢也為電動車和自動駕駛技術的發展提供了支持。然而，隨著技術特別是人工智能在競爭中的作用日益凸顯，汽車制造商在管理和利用數據方面面臨著諸多挑戰。有效管理存儲往往需要專業的技術知識，涉及文件系統、數據庫和網絡等多種技術。隨著數據規模不斷擴大，確保存儲性能和可靠性變得更加具有挑戰性。
WEKA? Data Platform 為應對這些挑戰而生，為數據驅動的汽車制造業帶來了可擴展性、靈活性、性能和易用性的巨大飛躍。
WEKA 用于自動駕駛
WEKA 在基于 AI 的自動駕駛汽車的開發和運營中發揮著關鍵作用。這些汽車需要大量數據來感知周圍環境、做出決策并安全導航。解決與數據相關的挑戰對于成功開發、部署和運營自動駕駛汽車至關重要。存儲和利用訓練生成式 AI 模型所需的大量數據可能昂貴且耗時。在 AI 數據管道流程中，包括數據攝入、轉換/清洗/預處理、模型開發、訓練，然后遞歸驗證/回測，IO 模式會有很大的不同。根據谷歌、微軟和世界各地研究組織的報告，70%的模型訓練時間用于數據準備階段，導致昂貴的 GPU 集群閑置，從而嚴重延遲了模型開發。
WEKA Data Platform 是一種基于軟件的解決方案，旨在通過提供最高吞吐量和最低的延遲，在進行自動駕駛模型訓練時，可以充分利用你的 GPU 資源。深度學習模型消耗越多的數據并從中學習，就能越快地找到解決方案，提高準確性。WEKA 通過在單一的命名空間中存儲整個數據集，簡化了典型的 GPU 饑餓型“多跳”（multi-hop） AI 數據管道。這種零拷貝架構消除了訓練前需要的多個步驟，使模型訓練更加高效。
?
將 WEKA 用于自動駕駛數據管道中，可以使 GPU 系統的數據傳輸速率達到飽和狀態。它消除了在存儲之間進行浪費性數據復制和傳輸所需的時間，使每天可以分析的訓練數據集數量呈幾何級增長。WEKA Data Platform 能夠高效地處理大量文件，其專利的布局算法，可將所有元數據和數據以4k的小塊并行分發到集群中，這種設計保證了無論IO是小、大還是兩者混合，都能實現極低的延遲和高性能。
WEKA 用于汽車建模
汽車的空氣動力學，包括轎車在內，通常是通過計算流體動力學（CFD）模擬和風洞測試來進行研究的，有時也會兩者結合建模。由于空氣動力學模擬的復雜性和計算強度，高性能計算（HPC）在這些模擬技術起著至關重要的作用。
空氣動力學對于提高轎車的的燃油效率、減少排放、增強安全性以及優化整車性能至關重要。隨著汽車技術的不斷發展，空氣動力學設計仍然是實現高效、可持續性發展和消費者滿意目標的關鍵因素。在賽車運動中，即使是微小的空氣動力學效率改進，也能在速度、操控性和競爭優勢方面帶來的顯著的改善。
WEKA 通過提供高性能計算 （HPC）環境，支持運行復雜的空氣動力學仿真，并且能夠有效地分配計算工作負載，讓模擬過程更快完成。
此外，WEKA 的故障域提供了保證運營按時進行所需的彈性。WEKA 支持混合 IO 配置文件、多協議就緒，讓汽車制造商能夠把原本分散在多個存儲系統上的數據整合到 WEKA 上，從而省去了采購成本、管理復雜度以及能耗和冷卻成本。
WEKA 用于汽車制造
計算機視覺（Computer vision）通過提高生產效率、質量控制和安全性，在汽車制造中發揮著重要作用。它幫助優化了汽車制造過程的效率和準確性，減少了錯誤和缺陷，并確保成品車輛的質量穩定。同時，它還有助于優化生產線，減少浪費，并幫助制造商滿足汽車行業的嚴格質量標準。
開發和維護計算機視覺 AI 系統需要能夠處理大量視覺數據（如圖像、視頻、實時攝像頭視頻等）并具備強大的計算能力。WEKA 專為處理大量數據而設計，非常適用于制造環境，它可以實時處理和分析來自多個來源的數據流。計算機視覺流程通常包含多個階段，不同階段可能需要處理不同格式的數據或通過不同協議進行訪問。WEKA 具備廣泛的多協議支持，可以實現這些階段之間無縫交換數據。
許多計算機視覺應用都借助云資源來實現可擴展性和存儲。WEKA 的云支持通過提供云分層和數據遷移功能來簡化數據管理任務。這樣，你就可以將不經常訪問的數據轉移到成本更低的云存儲層，從而優化本地存儲資源以用于更關鍵的任務。
“我們搭建了一個需要高速數據管道的 GPU 集群。我們評估了像 HDFS 等開源解決方案和公共云。最后我們選擇了 WEKA，因為它能夠以經濟高效的方式為我們的 GPU 提供高帶寬 I/O，并且具備成熟的產品、有客戶參考和出色的按需支持。”
-Paul Liu，工程運營負責人
WeRide
