新浪科技訊 1月10日下午消息,清華大學(xué)北京重點實驗室、智譜AI發(fā)起的AGI-Next前沿峰會上,清華大學(xué)教授、智譜創(chuàng)始人唐杰指出,“2025年以來,AI大模型在人類終極測試(HLE)這一非常高難度智能評測基準(zhǔn)中的表現(xiàn)(成績)開始快速提升?!?/p>
唐杰指出,2020年,AI大模型還只能解決MMU、QA等基礎(chǔ)問題;到2021-2022年,通過后訓(xùn)練開始具備數(shù)學(xué)推理(加減乘除)能力,補齊基礎(chǔ)推理短板;2023-2024年,大模型從知識記憶升級至復(fù)雜推理,開始可應(yīng)對研究生階段問題及SWE bench真實編程任務(wù),類似人類從小學(xué)到職場的能力成長過程;而在2025年,模型在人類終極測試中能力快速提升,該測試包含谷歌無法檢索的極端冷門問題,需要模型具備強泛化能力。
“一直以來,我們都希望機器(AI)有泛化能力,人們教它一點點,它就能舉一反三?!碧平苤赋?,雖然今天AI的泛化能力還有待大大提高,但智譜乃至于整個行業(yè)也正通過一系列手段來提高它。
2020年左右,業(yè)界基于Transformer架構(gòu),通過擴大數(shù)據(jù)量與算力,強化模型長時知識記憶能力,實現(xiàn)基礎(chǔ)知識的直接調(diào)用(如回答“中國的首都是什么”)。到2022年左右,業(yè)界開始通過對齊與推理優(yōu)化,強化復(fù)雜推理能力與意圖理解,核心手段是持續(xù)擴展指令微調(diào)(SFT)與強化學(xué)習(xí),依托大量人類反饋數(shù)據(jù)提升模型準(zhǔn)確性。而到2025年,業(yè)績開始嘗試通過構(gòu)建可驗證環(huán)境,讓機器自主探索、獲取反饋數(shù)據(jù)實現(xiàn)自我成長并強化泛化能力,解決傳統(tǒng)人類反饋數(shù)據(jù)噪音多、場景單一的問題。(文猛)