對話人：
彭 飛 本報評論員
曾 毅 中國科學院自動化研究所研究員、北京前瞻人工智能安全與治理研究院院長
彭飛：回顧2025年，人工智能發(fā)展一日千里。大家談到通用人工智能，充滿熱情，而談到超級人工智能，則顧慮重重。2025年10月以來，一份呼吁暫緩研發(fā)超級人工智能的聲明，獲得全球一大批科學家、政商界知名人士的簽名。這是為什么？通用人工智能與超級人工智能到底有什么區(qū)別？
曾毅：目前所說的通用人工智能一般指具有高度泛化能力，接近或達到人類智能水平的信息處理工具，有很廣泛的應用前景。超級人工智能則是指各方面都超過人類智能水平，且被認為是接近生命的存在。這意味著“它”會產(chǎn)生自主意識，且很多想法和行動將難以被人類理解，更難以被人類控制。
我們期望超級人工智能是“超級利他”的，但如果是“超級邪惡”怎么辦？有研究發(fā)現(xiàn)，當前主流大語言模型在面臨被替換的可能時，竟采取欺騙等方式以自保。更令人震驚的是，當模型意識到自己處于被測試的環(huán)境時，會故意掩蓋不當行為。通用人工智能尚且如此，更何況超級人工智能？大家憂慮的正是這種未知感。
彭飛：從歷史看，每次重大技術革命都會對經(jīng)濟社會發(fā)展產(chǎn)生重要影響。而且，隨著技術完善、治理跟進，人類發(fā)展最終都能趨利避害。超級人工智能為何不會遵循這樣的規(guī)律？
曾毅：不能簡單把超級人工智能類比為歷史上任何一種技術工具?！八笨赡軗碛歇毩⒄J知并超越人類智能，這一挑戰(zhàn)是前所未有的?！八睅淼娘L險和顛覆性改變也絕不限于就業(yè)、隱私保護、教育等局部領域，而是系統(tǒng)性的。最核心風險在于對齊失敗和失控。如果超級人工智能的目標與人類價值觀不一致，即使微小偏差也可能在經(jīng)能力放大后導致災難性后果。人類的負面行為大量存儲在網(wǎng)絡數(shù)據(jù)中，不可避免會被超級人工智能習得，這極大增加了對齊失敗和失控的風險。因此，在人工智能開發(fā)與治理中，時刻都要堅持底線思維，擺脫傳統(tǒng)的被動反應、跟進式的模式，做到未雨綢繆、前瞻布局。
彭飛：面對這么緊迫的課題，我們應采取一種怎樣的治理思路？
曾毅：從基本原則看，安全必須是發(fā)展超級人工智能的“第一性原理”，即安全應成為模型的“基因”，不可刪除，無法違背，不能因為可能影響模型能力而降低安全護欄。應盡可能全面考慮安全隱患并開展模型安全加固，堅持主動防御而非被動應對。
從實現(xiàn)路徑看，通過“攻擊—防御—評估”的技術過程不斷更新模型，能有效解決如隱私泄露、虛假信息等典型安全問題，妥善應對短期風險。但從長期看，真正的挑戰(zhàn)在于使超級人工智能與人類期望對齊。目前采取的基于人類反饋的強化學習——即在人機交互中將人類價值觀嵌入人工智能的模式，很可能對超級人工智能無法奏效，迫切需要全新的思維與行動方式。
從最終效果看，由于超級人工智能可能擁有自我意識，更安全的理想圖景是使“它”自主產(chǎn)生道德直覺、同理心與利他之心，而非單純依靠外部“灌輸”的價值規(guī)則。確保人工智能從合乎倫理變成擁有道德，才能最大限度降低風險。
彭飛：超級人工智能的安全問題具有全球性，一旦出現(xiàn)漏洞、失控，影響是跨越國界的。而人工智能的全球競爭又非常激烈，無論國家還是企業(yè)，都在爭先。一些發(fā)達國家在超級人工智能的研發(fā)上更是“油門踩到底”。如何避免盲目競爭導致失控？人工智能治理的全球協(xié)作有可能嗎？
曾毅：人類需要避免人工智能的發(fā)展演變?yōu)椤败妭涓傎悺?，其危害性不可估量。?chuàng)造出世界上第一個超級人工智能也許不需要國際合作，但確保超級人工智能對全人類安全可靠，全球合作是必選項。
世界需要一個高效率、有執(zhí)行力的國際機構，來協(xié)調人工智能的治理，以確保安全。2025年8月，聯(lián)合國大會決定設立“人工智能獨立國際科學小組”和“人工智能治理全球對話”機制，以促進可持續(xù)發(fā)展和彌合數(shù)字鴻溝。這方面的探索還應深入、繼續(xù)。
各主權國家作為政策制定和執(zhí)行的主體，尤其是掌握先進技術的發(fā)達國家，更有責任和義務防止在規(guī)則缺位的條件下盲目發(fā)展超級人工智能，造成風險外溢。中國倡導構建人類命運共同體、構建網(wǎng)絡空間命運共同體，強調統(tǒng)籌發(fā)展和安全，提出《全球人工智能治理倡議》，值得在全球范圍推廣和踐行。寧可稍稍放慢節(jié)奏，把安全的底子筑牢打扎實，也不能急功近利，以免把人類社會引向萬劫不復的危險境地。
《 人民日報 》( 2026年01月09日 07 版)