Contextual AI
Contextual AI，總部位于美國山景城，致力于通過人工智能改變世界的運作方式。公司提供了一個一站式平臺，利用領先的 RAG 2.0技術，幫助構建企業級 AI 應用。
旨在解決挑戰：AI 模型的幻覺和時效性
Contextual AI 主要幫助解決財富500強企業在大規模部署 AI 時遇到的關鍵問題，包括模型幻覺、數據陳舊和數據隱私。大型語言模型（LLM）善于根據其預訓練數據生成清晰、連貫的回答，但實際應用中常常缺乏關鍵上下文和及時信息，這可能導致生成看似合理但實際上錯誤的答案，這種現象被稱為“幻覺”。模型幻覺削弱了模型回答的準確性和可信度，是企業在實際生產中部署 AI 的主要障礙。
RAG 2.0：推動企業級 AI 大規模應用
如今，許多開發者借助“檢索增強生成（RAG）”技術，將外部數據添加到模型響應中，以提升大型語言模型的準確性。然而，目前傳統的 RAG 系統通常依賴固定的現成嵌入模型、用于檢索的向量數據庫，以及用于生成的黑箱語言模型，這些組件通過提示或編排框架拼湊在一起的解決方案往往不夠穩定，且缺乏領域特定知識，需要大量的提示和持續的維護，容易出現級聯錯誤。因此，這種“拼湊”式的 RAG 系統很難滿足企業生產的標準。
Contextual AI 的首席執行官兼聯合創始人 Douwe Kiela，早在2020年，就帶領團隊在 Facebook AI Research（FAIR） 首創了 RAG 技術。如今，他與 Contextual AI 團隊正在開發 RAG 2.0，以解決原有 RAG 系統的不足。
Contextual AI 的方法聚焦在兩個方面：系統優于模型，專業化優于通用人工智能（AGI）。Contextual Language Models（CLM）通過端到端優化了整個系統，實現企業生產級 AI 應用。通過 RAG 2.0，Contextual AI 將所有組件作為一個單一的集成系統進行預訓練、微調和對齊。因此，客戶能夠從不穩定的通用聊天機器人升級為高精度的專業化 AI 應用，性能相比基準提高了4倍以上。
面臨的技術挑戰
生成式 AI 工作負載對性能、數據管理效率和計算能力有極高的要求，因此訓練和部署這些模型往往非常耗時且資源密集。Contextual AI 最初在谷歌云（Google Cloud）上使用默認的存儲服務 Google Filestore，但很快就遇到了規模擴展挑戰和性能瓶頸，導致成本上升，并延長了 AI 模型的開發和訓練時間。Contextual AI 發現了在元數據處理、檢查點和數據預處理種的缺陷，同時，從存儲到加速器的數據傳輸成為團隊加快 AI 模型訓練的關鍵考量因素。
數據加載時間過長：“許多小文件（LOSF）” 問題帶來了挑戰，大多數傳統存儲架構難以有效應對。在 LLM 訓練過程中，模型需要快速迭代查找正確的文件，打開、讀取、關閉，然后繼續操作。如果加載時間延遲了10到20秒，累計起來會在整個訓練周期內對開發者的生產力產生重大影響。
模型檢查點寫入時間過長：模型檢查點對于確保訓練周期的韌性至關重要，但這可能會導致 AI 模型在保存檢查點時暫停訓練。為了讓模型訓練不中斷，關鍵是要快速地寫入幾個非常大的模型權重文件。如果模型檢查點寫入時間過長，意味著訓練可能會暫停長達5分鐘之久。
“最近，生成式 AI 和企業云的加速應用，引發了客戶需求的急劇增長，推動了空前數量的八位數 ARR 交易–考慮到 WEKA 是一家以軟件為基礎的企業，這是一個令人印象深刻的成就。”WEKA 首席財務官 Intekhab Nazeer 表示。“這是加強我們現金儲備的絕佳時機，讓我們的投資者能夠增加他們在公司的持股比例，同時最大限度地減少員工的股權稀釋。”
——WEKA 首席財務官 Intekhab Nazeer
解決方案：WEKA 數據平臺
Contextual AI 依靠 WEKA 數據平臺來管理其 AI 模型訓練的所有數據集，目前數據總量已達100TB。在這個環境中，WEKA 軟件在由10臺 GCE C2-std-16虛擬機組成的10節點集群上運行，這些虛擬機集群提供了一個基于 NVMe 設備構建的高性能數據層，總閃存容量達50TB。此外，WEKA 的單一命名空間還擴展了額外50TB的 Google 對象存儲，為保留訓練數據集和最終生產模型提供了一個可擴展且經濟的數據湖。
“借助WEKA數據平臺，我們現在擁有了支持下一代 GPU 和大規模構建最先進生成式 AI解決方案所需的強大數據管道。它能夠快速地將臨時存儲轉化為持久且經濟的數據存儲，效果堪稱魔法。”
——WEKA 的聯合創始人兼首席執行官 Liran Zvibel
使用 WEKA 的成果
現在，Contextual AI 已在 WEKA 數據平臺上成功完成了數百次模型訓練。WEKA 幫助數據性能實現巨大飛躍，大幅提高了開發人員的工作效率，縮短了模型訓練時間。
WEKA 數據平臺將低成本對象存儲和基于閃存的高性能存儲結合在單一命名空間內，并在兩者之間進行精細的自動數據分層管理。通過單一的數據副本，客戶在無需過度配置存儲資源的情況下，就能夠獲得所需的高性能。借助 WEKA 平臺，Contextual AI 的模型檢查點時間加快了4倍，云存儲成本降低了38%，開發者的生產力顯著提升。
3倍性能提升：通過大幅提高 GPU 利用率，Contextual AI 在關鍵 AI 應用場景種實現了3倍的性能提升。
4倍性能提升：消除了模型檢查點的延遲，使檢查點處理速度加快了4倍，極大提高了開發者的工作效率。
降低38%的成本：相關的云存儲成本每 TB 降低了38%。
