作者 | Steef-Jan Wiggers
譯者 | 平川
在年度 Ignite 大會上，微軟宣布公開預(yù)覽?Foundry Agent Service?中的記憶功能。這是一個全托管的長期記憶存儲，與其代理服務(wù)實現(xiàn)了原生集成。
有了記憶功能，開發(fā)者可以存儲、檢索和管理聊天摘要、用戶偏好和跨會話、設(shè)備及工作流程的關(guān)鍵上下文。Foundry 的博文寫道：
開發(fā)者只要在 Foundry 門戶上啟用記憶功能，系統(tǒng)將自動為其代理創(chuàng)建并配置好內(nèi)存存儲。此外，開發(fā)者可以通過 SDK 或 API 使用該功能。
在文檔中，該公司解釋說，記憶以項的形式存儲在托管的記憶存儲中，并涉及三個操作階段：
提取階段：系統(tǒng)從用戶交互中提取關(guān)鍵信息，如偏好（例如“對乳制品過敏”）和最近的活動。
合并階段：合并提取的記憶以避免冗余，解決沖突信息（如新的過敏反應(yīng)）以確保準確性。
檢索階段：代理使用混合搜索技術(shù)快速找到相關(guān)記憶，并在開始時檢索核心用戶信息，確保對話過程自然而且充分知情。
對于記憶功能，有一個關(guān)鍵參數(shù)是范圍，它控制了如何對其進行分區(qū)。記憶存儲中的每個范圍都保存了一個獨立的記憶項集合。因此，開發(fā)者可以使用唯一標(biāo)識符，如用戶的 Entra ID 或自定義 UUID（用于存儲和檢索），對記憶存儲進行分區(qū)。
作為公開預(yù)覽，該服務(wù)有一些特定的?操作限制。目前，每個范圍可以存儲至多 1 萬個單獨的記憶項，系統(tǒng)每分鐘的吞吐量限制為 1000 個請求。
通過將記憶管理從應(yīng)用邏輯轉(zhuǎn)移到服務(wù)運行時中，F(xiàn)oundry 自動處理記憶提取和檢索的復(fù)雜“管道”。這標(biāo)志著從傳統(tǒng)檢索增強生成（RAG）（通常像搜索引擎一樣運作）到持久狀態(tài)層的轉(zhuǎn)變。
在 LinkedIn 的博文中，微軟 AI 研究總監(jiān) Vivan Amim 指出：
這種轉(zhuǎn)變表明，長期上下文正在從自定義實現(xiàn)轉(zhuǎn)變?yōu)楹诵幕A(chǔ)設(shè)施需求。在公開預(yù)覽期間，記憶功能是免費的，用戶只需為底層的聊天和嵌入模型付費。