WEKA 與 Oracle Cloud Infrastructure 證實長上下文人工智慧推論可令吞吐量提升 10 倍

在 OCI H100 基礎設施上進行的聯合基準測試顯示，在不增加圖形處理器的情況下，並發使用者數目提升 10 倍，Token 吞吐量提高 10 倍，Token 服務量增加 7 倍

加州坎貝爾2026年6月10日 /美通社/ -- 人工智慧 (AI) 資料與記憶體基礎設施公司 WEKA 今日釋出生產規模的基準測試，結果顯示機構在相同圖形處理器 (GPU) 佔用空間下，可服務更多使用者及 Token，從而提升長上下文人工智慧推論的經濟效益。 基準測試表明，於 Oracle Cloud Infrastructure (OCI) 上使用配備 Augmented Memory Grid™ (增強記憶體網格) 的 WEKA NeuralMesh™ 平臺，在不增加基礎設施的情況下，相比純動態隨機存取記憶體 (DRAM) 配置，能服務多 10 倍的並發使用者、提供高 10 倍的 Token 吞吐量，並讓每個圖形處理器多產生 7 倍 Token。 上述結果經由一個配備 100,000 Token 上下文視窗的 9 節點 OCI 裸機 H100 叢集驗證屬實。

Oracle Cloud Infrastructure 軟體開發高階總監 Pablo Selem 說：「企業人工智慧工作負載正將上下文視窗及圖形處理器使用率推向新極限。 這些基準測試顯示，在 OCI 上配備 Augmented Memory Grid 的 WEKA NeuralMesh 平臺如何幫助消除記憶體瓶頸，使客戶無需單純增加更多圖形處理器，也能支援規模更大、要求更高的推論工作負載。」

改變推論經濟效益的三項成果 該成果在裸機 H100 叢集（9 個節點、72 個圖形處理器、100,000 個 Token 上下文視窗、數以千計並發使用者）上經過生產規模驗證，OCI 上配備 Augmented Memory Grid 的 NeuralMesh 交出以下成績：

• 無需增加基礎設施，服務的並發使用者數提升 10 倍。配備 Augmented Memory Grid 的 NeuralMesh 可擴充套件至超過 5,000 名並發使用者，反觀純動態隨機存取記憶體配置僅能容納約 600 名。 此做法將活躍快取工作集從 8.64 TiB 動態隨機存取記憶體擴大到 287 TiB 可用非揮發性記憶體表達 (NVMe)，從而避免快取飽和時出現的效能急劇下降。 此外，每個圖形處理器能服務更多使用者，代表相同投資可發揮更大價值。
• Token 吞吐量高出 10 倍。 叢集中的每個圖形處理器都能輸出更多結果。在 OCI 上，配備 Augmented Memory Grid 的 NeuralMesh 每秒可處理約 200 萬 Token，而純動態隨機存取記憶體基準配置每秒處理不到 200,000 Token。 對於執行即時人工智慧功能，包括搜尋、摘要、程式碼輔助及多輪代理的產品團隊，吞吐量直接決定最多能服務多少使用者、功能回應有多快，以及基礎設施能支撐多少收入。
• Token 服務量激增 7 倍。 大規模執行時，每個 Token 的成本得以降低。在一個涉及 2,400 名使用者的 1 小時測試中，配備 Augmented Memory Grid 的 NeuralMesh 處理了 50 億 Token，而純動態隨機存取記憶體基準配置只處理了 7 億 Token。 對執行代理型工作流程的機構來說，動態隨機存取記憶體飽和會因持續重複運算而耗盡圖形處理器效能，直接影響每個 Token 的成本及投資回報率 (ROI)。

WEKA 行政總裁 Liran Zvibel 表示：「推論瓶頸在於圖形處理器能使用多少有效記憶體。 這些結果證明，人工智慧 Token 的經濟效益問題無法單靠硬體解決，而是必須消除記憶體牆，這才是真正限制現有硬體能力的瓶頸。 在 OCI 上執行配備 Augmented Memory Grid 的 NeuralMesh，能以極具成本效益的方式，為客戶呈獻幾何級數增長的 Token 產能。」

運用上下文記憶體基礎設施，改變人工智慧經濟效益 隨著推論需求增長，人工智慧基礎架構的低效率問題會不斷加劇。 每次鍵值 (KV) 快取被逐出都會帶來代價：消耗圖形處理器週期、增加延遲、影響使用者體驗，以及提高每個所服務 Token 的成本。 對於輸入動輒達 100,000 Token 或以上的長上下文及代理型工作負載而言，這筆代價絕非無關痛癢的誤差。 這直接撼動每個執行生產級人工智慧的機構之單位經濟模型。

Augmented Memory Grid 作為 NeuralMesh 的一項功能，從架構層面解決問題，把鍵值快取與本地圖形處理器記憶體分離，並儲存在一個可供整個叢集存取的高效能 Token 倉庫中。 任何主機都能在不影響快取命中率的情況下服務任何工作階段，擺脫了僵化工作階段黏性束縛，同時提供比動態隨機存取記憶體更優越的效能，改善負載平衡，且隨著並發數增加而實現流暢的橫向擴充套件。 最終帶來人工智慧代理所需的持久上下文記憶體，並掌握成本槓桿，令長上下文推論得以在經濟可行的前提下實現大規模運作。

生產級實證 OCI 已於 2026 年 5 月 13 日，在其人工智慧與資料科學網誌 (AI & Data Science blog) 上刊載了完整的基準測試方法、系統配置及結果。 這些在 9 節點 OCI 裸機 H100 叢集上進行的基準測試，超越了前一階段的驗證結果。前一階段證明瞭鍵值快取容量增加 1,000 倍，而在 128,000 Token 下，達到首個 Token 的時間縮短高達 20 倍。 這最新階段測試了生產環境中推論的全面經濟效益，包括並發密度、持續吞吐量、快取永續性，以及在高負載下需求突增時的服務水平目標 (SLO) 穩定性。

登陸 Oracle Marketplace 配備 Augmented Memory Grid 的 NeuralMesh 現已全面供應給 WEKA 客戶，並已在Oracle Marketplace上架，OCI 為 WEKA 的獨家雲端釋出合作夥伴。 在 OCI 上執行長上下文推論的機構，現可部署一套既經認證亦可即時投產的架構。 如欲瞭解更多關於 OCI 及 WEKA Augmented Memory Grid 基準測試的資訊，請參閱 OCI 網誌：https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid。

關於 WEKA WEKA 是專注於人工智慧資料與記憶體基礎設施的公司，正在革新代理型人工智慧的經濟效益。 NeuralMesh™ 平臺融合高效能資料儲存與擴充的圖形處理器記憶體，為企業、人工智慧雲端服務商及人工智慧建構者提供統一基礎，以應對訓練、推論及代理型工作負載。 透過 Augmented Memory Grid，NeuralMesh 能把圖形處理器記憶體容量擴充套件 1,000 倍，將達到首個 Token 的時間縮短高達 20 倍，並在相同圖形處理器佔用空間下服務多 10 倍的並發使用者，這些結果已在生產基準測試中得到證實。 WEKA 深受《財富》50 強 (Fortune 50) 中三成企業的信賴，能幫助機構加快人工智慧的規模化部署、提升圖形處理器的使用效率，並降低每服務一個 Token 所帶來的成本。 歡迎瀏覽 www.weka.io 以瞭解更多，亦可於 LinkedIn 和 X 上關注我們。

WEKA 及 W 標誌為 WekaIO, Inc. 的註冊商標。本文中出現的其他商業名稱，可能為其各自擁有者的商標。