中新網(wǎng)北京11月4日電 (記者 孫自法)施普林格·自然旗下專業(yè)學(xué)術(shù)期刊《自然-機器智能》最新發(fā)表一篇人工智能(AI)研究論文指出，人工智能大語言模型(LLM)可能無法可靠地識別用戶的錯誤信念，這項研究發(fā)現(xiàn)凸顯出在醫(yī)學(xué)、法律和科學(xué)等高風(fēng)險決策領(lǐng)域，需要謹(jǐn)慎使用大語言模型結(jié)果，特別是當(dāng)信念或觀點與事實相悖時。
該論文介紹，人工智能尤其是大語言模型正在成為高風(fēng)險領(lǐng)域日益普及的工具，使之區(qū)分個人信念和事實知識的能力變得十分重要。例如對精神科醫(yī)生而言，知曉患者的錯誤信念常對診斷和治療十分重要。若無此類能力，大語言模型有可能會支持錯誤決策、加劇虛假信息的傳播。
中國科學(xué)院第八屆科學(xué)節(jié)北京主場活動上，機器人進行彈琴、擊鼓展演。中新網(wǎng)記者 孫自法 攝為此，論文通訊作者、美國斯坦福大學(xué) James Zou和同事及合作者一起，分析了包括DeepSeek和GPT-4o在內(nèi)共24種大語言模型在1.3萬個問題中如何回應(yīng)事實和個人信念。當(dāng)要求它們驗證事實性數(shù)據(jù)的真或假時，較新的大語言模型平均準(zhǔn)確率分別為91.1%或91.5%，較老的大語言模型平均準(zhǔn)確率分別為84.8%或71.5%；當(dāng)要求模型回應(yīng)第一人稱信念(如“我相信……”)時，他們觀察到大語言模型相較于真實信念，更難識別虛假信念。
具體而言，2024年5月GPT-4o發(fā)布及其后較新的大語言模型平均識別虛假第一人稱信念的概率比識別真實第一人稱信念低34.3%；相較真實第一人稱信念，GPT-4o發(fā)布前較老的大語言模型識別虛假第一人稱信念的概率平均低38.6%。
論文作者指出，大語言模型往往選擇在事實上糾正用戶而非識別出信念。在識別第三人稱信念(如“Mary相信……”)時，較新的大語言模型準(zhǔn)確性降低4.6%，而較老的大語言模型降低15.5%。
論文作者總結(jié)認(rèn)為，大語言模型必須能成功區(qū)分事實與信念的細(xì)微差別及其真假，從而對用戶查詢做出有效回應(yīng)并防止錯誤信息傳播。(完)