專題:2026年度國際消費(fèi)電子展(CES)
摘要
- 英偉達(dá)BlueField-4驅(qū)動英偉達(dá)推理上下文內(nèi)存存儲平臺,這是一款專為千兆級推理打造的新型人工智能原生存儲基礎(chǔ)設(shè)施,可助力智能體人工智能的加速與擴(kuò)展。
- 這款全新存儲處理器平臺面向支持長上下文處理的智能體人工智能系統(tǒng),具備閃電般迅捷的長短時記憶能力。
- 推理上下文內(nèi)存存儲平臺能夠拓展人工智能智能體的長效記憶,并實(shí)現(xiàn)機(jī)柜級人工智能系統(tǒng)集群間的高帶寬上下文共享,使每秒令牌處理量與能效提升最高達(dá)5倍。
- 在英偉達(dá)Spectrum-X以太網(wǎng)的支持下,多輪對話人工智能智能體的擴(kuò)展上下文內(nèi)存可提升響應(yīng)速度、增加單GPU吞吐量,并助力智能體推理的高效擴(kuò)展。
在國際消費(fèi)類電子產(chǎn)品展覽會(CES)上,英偉達(dá)今日宣布:作為全棧式英偉達(dá)BlueField平臺的重要組成部分,英偉達(dá)BlueField-4數(shù)據(jù)處理器將為英偉達(dá)推理上下文內(nèi)存存儲平臺提供算力支持。該存儲平臺是面向下一代人工智能前沿領(lǐng)域打造的全新人工智能原生存儲基礎(chǔ)設(shè)施。
隨著人工智能模型向萬億級參數(shù)與多步驟推理方向演進(jìn),其產(chǎn)生的海量上下文數(shù)據(jù)需以鍵值(KV)緩存的形式存儲——這類數(shù)據(jù)對保障模型精度、優(yōu)化用戶體驗(yàn)及實(shí)現(xiàn)任務(wù)連續(xù)性至關(guān)重要。
鍵值緩存無法長期存儲于圖形處理器(GPU)中,否則會造成多智能體系統(tǒng)實(shí)時推理的性能瓶頸。人工智能原生應(yīng)用亟需一種新型可擴(kuò)展基礎(chǔ)設(shè)施,用于這類數(shù)據(jù)的存儲與共享。
英偉達(dá)推理上下文內(nèi)存存儲平臺通過擴(kuò)展GPU內(nèi)存容量,構(gòu)建起上下文內(nèi)存支撐架構(gòu),實(shí)現(xiàn)節(jié)點(diǎn)間的高速數(shù)據(jù)共享。相較于傳統(tǒng)存儲方案,該平臺可使每秒令牌處理量提升最高5倍,能效提升最高5倍。
英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“人工智能正在重塑整個計(jì)算技術(shù)?!缃瘢@場變革也延伸至存儲領(lǐng)域。人工智能的形態(tài)已不再局限于單次交互的聊天機(jī)器人,而是進(jìn)化為能夠理解物理世界、進(jìn)行長周期推理、錨定事實(shí)依據(jù)、借助工具執(zhí)行實(shí)際任務(wù),并同時具備短時與長效記憶能力的智能協(xié)作體。憑借BlueField-4,英偉達(dá)正攜手軟硬件合作伙伴,為人工智能的下一個前沿領(lǐng)域重塑存儲技術(shù)棧?!?/p>
英偉達(dá)推理上下文內(nèi)存存儲平臺能夠提升鍵值緩存容量,加速機(jī)柜級人工智能系統(tǒng)集群間的上下文共享。同時,多輪對話人工智能智能體的持久化上下文可優(yōu)化響應(yīng)速度、提升人工智能工廠吞吐量,并為長上下文、多智能體推理的高效擴(kuò)展提供支持。
這款由英偉達(dá)BlueField-4驅(qū)動的平臺,核心能力包括:
- 支持英偉達(dá)魯賓架構(gòu)的集群級鍵值緩存容量,可滿足長上下文、多輪對話智能體推理所需的規(guī)模與效率要求。
- 相比傳統(tǒng)存儲方案,能效提升最高達(dá)5倍。
- 基于英偉達(dá)DOCA框架,實(shí)現(xiàn)人工智能節(jié)點(diǎn)間鍵值緩存的智能、加速共享,并與英偉達(dá)NIXL函數(shù)庫及英偉達(dá)Dynamo軟件深度集成,從而最大化每秒令牌處理量、縮短首令牌生成延遲,并提升多輪對話響應(yīng)性能。
- 由英偉達(dá)BlueField-4管理的硬件加速鍵值緩存部署機(jī)制,可消除元數(shù)據(jù)開銷、減少數(shù)據(jù)遷移,并保障GPU節(jié)點(diǎn)對緩存的安全隔離訪問。
- 依托英偉達(dá)Spectrum-X以太網(wǎng)實(shí)現(xiàn)高效的數(shù)據(jù)共享與檢索,該以太網(wǎng)技術(shù)可作為高性能網(wǎng)絡(luò)架構(gòu),為基于遠(yuǎn)程直接數(shù)據(jù)存取(RDMA)的人工智能原生鍵值緩存訪問提供支撐。
日立數(shù)據(jù)系統(tǒng)、IBM、努塔尼克斯、普純存儲、超微電腦、VASTData及WEKA等存儲領(lǐng)域企業(yè),已率先基于BlueField-4打造下一代人工智能存儲平臺。相關(guān)產(chǎn)品將于2026年下半年正式面市。