新研究質疑以 GPU 使用率衡量推論基礎設施效能_apple id 韩区免费共享 完整步骤与注意事项

在 Supercomputing 2026 大會上,新研AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,究質推出「推論經濟效益評分卡」。使用施效這套全新通用框架按實際完成的率衡量推論基有效工作量,衡量推論基礎設施的礎設生產力及經濟價值,而非單看 GPU 有多繁忙。新研apple id 韩区免费共享 完整步骤与注意事项

評分卡訂出九項指標,究質包括每瓦特的使用施效詞元產出、每次推論成本及上下文保留能力。率衡量推論基評分卡也訂立四項測試規則,礎設包括每次運行至少八小時,新研以及只計算成功產出。究質這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的使用施效基準測試。與此同時,率衡量推論基推論正占據愈來愈大比例的礎設 AI 基礎設施開支,而買家也面對電力、記憶體及機架空間的限制。

新研究發現:買家已開始以不同方式看待推論

S&P Global 旗下 451 Research 的最新研究顯示,機構已開始作出調整。研究預計,apple id 香港申请 港区App Store账号 iOS应用下载推論占 AI 基礎設施開支的比例,將由 2026 年的 34% 增至 2030 年的 46%;研究也發現,在執行推論的機構中,41% 會為推論採購與其餘 IT 架構截然不同的基礎設施。

S&P Global 旗下 451 Research 高級分析師 Greg Macatee 表示:「AI 的價值最終透過推論實現,而我們的研究顯示,推論正重塑機構採購基礎設施的方式。AI 代理正帶動詞元數量呈指數級增長;記憶體、電力及供應方面的限制,令機構難以單靠增添 GPU 來追上需求。」

為何 GPU 使用率不足以衡量推論效能

多年來,訓練一直是主要的 AI 工作負載。訓練透過大型、可預測的運算任務,讓 GPU 持續忙碌,因此 GPU 使用率成為衡量 AI 基礎設施生產力的常用指標。推論,尤其是代理式推論,對 GPU 的要求卻截然不同。AI 代理並非只回應一個提示,而是透過多個步驟完成任務,並在每一步重新讀取先前建立的上下文。當 GPU 為其他用戶及工作階段騰出空間,而將這些上下文從記憶體移除後,便必須在任務恢復執行時重新計算。在這項工作完成之前,任務無法繼續推進。結果是 GPU 雖然滿負荷運作,卻因多次重算相同詞元而浪費運算週期,未能帶來有效產出。

推論經濟效益評分卡以生產環境規模衡量推論系統:觀察系統在大量用戶同時使用的情況下,持續數小時而非數分鐘所完成的請求。

WEKA 聯合創辦人兼行政總裁 Liran Zvibel 表示:「業界一直沿用訓練時代的成績表來評核推論。GPU 使用率只能告訴你晶片很繁忙。它卻無法說明工作究竟已經完成、被重複執行,還是最終遭到捨棄。對 AI 代理而言,大量工作其實都在重複進行。如今,電力、供應及機架空間與資金一樣,都是限制因素。推論基礎設施需要新的衡量方式:在符合用戶預期回應時間的前提下,每瓦特、每個機架及每美元能產生多少有效工作量。推論經濟效益評分卡將這套衡量方式具體化,而 WEKA 也會與其他供應商一樣,接受同一標準的評核。」

從繁忙到高效:評分卡如何運作

推論經濟效益評分卡訂出九項推論效能及經濟效益指標:每瓦特的詞元產出、每個機架的詞元產出、每次推論成本、GPU 有效吞吐量、首個詞元回應時間及端到端延遲、記憶體使用效率、運作密度、AI 代理並行數,以及上下文保留能力。評分卡也為各項指標訂立測試規範:

  • 所有受測系統採用相同工作負載及服務目標
  • 衡量整個推論服務堆疊
  • 每次測試運行至少八小時
  • 僅將成功產出計入成果

NAND Research 首席分析師兼創辦人 Steve McDowell 表示:「現時 AI 基礎設施最昂貴的錯誤,就是按峰值吞吐量採購,卻為重複工作付費。AI 代理工作負載令這個問題更容易被忽略,因為長時間任務的每一步,都會重新讀取上下文,而繁忙的 GPU 可能需要從頭重建這些上下文。我們設計這張評分卡,讓買家能以相同標準評核任何系統:以數小時為單位衡量已完成的工作,並記錄每次失敗。Nebius 的基準測試展示了這套規範能揭示甚麼,因為測試完整運行了八小時,並將每宗失敗或逾時的請求納入統計。」

實際驗證:真實 AI 代理負載,持續運行八小時

WEKA 與 Nebius 最近在 NVIDIA HGX B300 系統上進行聯合基準測試,採用評分卡的測試規則,並公佈多項指標的結果。測試使用一個配備八個 GPU 的節點,運行 DeepSeek-V4-Pro,為 512 個活躍工作階段提供服務。這些工作階段選自一個包含逾 5,000 個真實 AI 代理編程工作階段的資料集。每種配置均持續運行八小時,並將每宗失敗或逾時請求納入統計。

採用配備 Augmented Memory Grid 的 WEKA NeuralMesh 後,系統將叢集內的 NVMe 資源匯集成共享上下文儲存層。與同一批 GPU 僅使用高頻寬記憶體(HBM)提供服務相比,該節點每個 GPU 每小時的輸出詞元數達到 3.7 倍。在成功完成的請求中,97% 能在五秒內收到首個詞元,高於僅使用 HBM 時的 44%。僅使用 HBM 提供服務時,60% 的預填充運算,是重新計算叢集在同一工作階段中先前已處理過的上下文;採用 Augmented Memory Grid 後,這個比例降至 6.8%。按實測速率計算,僅使用 HBM 的節點約需 30 小時,才能達到 Augmented Memory Grid 在八小時內完成的產出。完整基準測試已刊載於 weka.io 及 nebius.com 的網誌。

Nebius 產品副總裁 Narek Tatevosyan 表示:「峰值吞吐量展示的是系統在幾分鐘內能做到甚麼,但我們的客戶會讓 AI 代理運行數小時、數天,甚至更長時間,因此真正重要的是持續完成有效工作。在完整工作時段內,隨著上下文被移出記憶體,以及逾時請求增加,僅使用 HBM 的配置表現逐漸落後;WEKA NeuralMesh 則在整個測試期間維持穩定的首個詞元回應時間。這改變了我們規劃容量的方式:我們按一個工作天內能完成的工作量配置資源,而非基準測試的峰值。推論經濟效益評分卡讓我們能以共同的衡量方式,向客戶展示這個數字。」

「代理式推論是塑造 AI 工廠的關鍵工作負載,對記憶體及上下文提出極高要求。在大規模運作下,問題已不再是 GPU 能容納多少上下文,而是在無需重新運算的情況下,能於整個叢集內將上下文容量擴展至多大規模。」NVIDIA 儲存技術副總裁 Jason Hardy 表示。「WEKA 及 Nebius 在 NVIDIA HGX B300 系統上的測試結果,展示了共用上下文層如何提升持續吞吐量及回應速度。隨著推論規模不斷擴大,採購者將需要更清晰的方法,根據各系統實際完成的工作量作比較。」

以可重現為設計原則:開放執行軌跡及工具

基準測試所用的執行軌跡及工具均已開源,任何人都可在自己的系統上運行相同工作負載,並在同等條件下比較結果。這些執行軌跡來自真實 AI 代理編程工作階段,而非合成負載,涵蓋實際工作中多變的時序及複雜度,為各團隊提供貼近實際生產情況的測試負載。其他機構也已開始在此基礎上開發工具:SemiAnalysis 的 AgentX 基準測試以這些執行軌跡為基礎,而 NVIDIA AIPerf 基準測試工具也提供相應的資料載入工具。

SemiAnalysis 創辦人兼行政總裁 Dylan Patel 表示:「代理式推論基準測試必須反映真實生產流量,包括長時間運行的 AI 代理、不斷增長的上下文、包含子代理的複雜多代理工作流程,以及實際部署中常見的突發、難以預測的流量模式。能達到這個標準的基準測試寥寥可數,而我們建立 AgentX,正是為了填補這個缺口。這也是 AgentX 採用 WEKA 開放的 kvlab 執行軌跡格式,基於真實 AI 代理軌跡運行的原因,讓任何人都能重播相同的多輪工作流程,並在同等條件下比較結果。隨著 AI 代理成為主要推論工作負載,這種可重現的測量方式,將讓業界不再局限於峰值數字,而能看清基礎設施可持續維持的表現。」

SemiAnalysis 計畫隨著測試進展,分享 WEKA NeuralMesh 上的 AgentX 測試結果。如欲了解更多資訊,請瀏覽 https://inferencex.semianalysis.com/agentx。

更多資源

  • 推論經濟效益評分卡及 NAND Research 配套報告可於此處查閱。
  • 按此免費下載 S&P Global 旗下 451 Research 的報告《From inference to agentic AI》。
  • 閱讀 WEKA 行政總裁 Liran Zvibel 的網誌文章。
  • 如欲了解資料擷取工具背後的工程設計,以及各項測量指標的定義,請按此瀏覽。
  • 歡迎於 11 月 16 至 20 日蒞臨芝加哥 SC26 大會的 WEKA 2519 號展位,進一步了解如何將推論經濟效益評分卡應用於您的推論工作負載。

(本文由 PR Newswire 授權轉載;首圖來源:shutterstock)

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元
《關於請喝咖啡的 Q & A》