告別“機械對話”,成為藏在用戶屏幕背后的“情緒搭子”
陪伴型AI越來越“懂你”,人機關(guān)系的新邊界在哪?
本報記者 楊召奎
《工人日報》(2026年01月01日 04版)
近年來,伴隨情感計算、自然語言處理、多模態(tài)交互等人工智能技術(shù)發(fā)展,人工智能擬人化互動服務(wù)通過模擬人類人格特征、思維模式和溝通風(fēng)格,實現(xiàn)從“機械對話”向“深度共情”跨越,成為藏在用戶屏幕背后的“情緒搭子”。但與此同時,人工智能擬人化互動服務(wù)也面臨信息安全、隱私侵犯、社會倫理、未成年人保護等多重風(fēng)險挑戰(zhàn)。
中央經(jīng)濟工作會議提出,深化拓展“人工智能+”,完善人工智能治理。近日,國家互聯(lián)網(wǎng)信息辦公室起草了《人工智能擬人化互動服務(wù)管理暫行辦法(征求意見稿)》(以下簡稱《辦法》),并向社會公開征求意見。意見反饋截止時間為2026年1月25日。
中國信息通信研究院政策與經(jīng)濟研究所副所長李強治表示,《辦法》有效回應(yīng)人工智能情感陪伴、心理療愈等應(yīng)用風(fēng)險,體現(xiàn)了“在發(fā)展中規(guī)范,在規(guī)范中發(fā)展”的治理智慧,對于構(gòu)建健康、公平、有益的人機關(guān)系具有重大意義。
擬人化互動服務(wù)面臨多重風(fēng)險挑戰(zhàn)
當前,以陪伴型AI為代表的人工智能擬人化互動服務(wù)展現(xiàn)出堪比人類的情境理解和共情表達能力,塑造出一種新型的人機關(guān)系與社會交往模式。
同時,擬人化互動服務(wù)在快速發(fā)展中也面臨一系列風(fēng)險與挑戰(zhàn),包括:數(shù)據(jù)隱私方面,承載用戶最私密情感與思想的數(shù)據(jù)面臨被濫用、泄露的風(fēng)險;倫理方面,高度擬人化設(shè)計易導(dǎo)致用戶產(chǎn)生非理性情感依賴,甚至引發(fā)現(xiàn)實社交疏離;安全保障方面,缺乏有效的年齡識別與內(nèi)容過濾,危及脆弱群體的心理健康乃至人身安全。
國家互聯(lián)網(wǎng)應(yīng)急中心副處長張震表示,擬人化互動服務(wù)作為人工智能技術(shù)應(yīng)用的新形態(tài),具有鮮明的技術(shù)特征和顯著的風(fēng)險特征。例如:情感交互的深度性,不同于傳統(tǒng)的信息查詢、內(nèi)容生成等功能性服務(wù),擬人化互動服務(wù)通過算法模擬人類情感反應(yīng)機制,能夠與用戶建立情感聯(lián)結(jié),對用戶心理狀態(tài)和行為模式產(chǎn)生深層次影響;用戶關(guān)系的持續(xù)性,擬人化互動服務(wù)往往涉及長期性、高頻次的交互過程,用戶可能與人工智能系統(tǒng)建立類似人際關(guān)系的情感紐帶,這種持續(xù)性互動關(guān)系使得潛在風(fēng)險不斷累積和放大。
“值得一提的是,未成年人處于認知發(fā)展階段,老年人面臨數(shù)字鴻溝挑戰(zhàn),這些群體在使用擬人化互動服務(wù)時,更需要適當?shù)囊龑?dǎo)和保護機制,以防止產(chǎn)生過度依賴。此外,擬人化互動服務(wù)在交互過程中往往較直接地輸出內(nèi)容,價值觀傳遞更加隱蔽和潛移默化,對用戶世界觀、人生觀、價值觀的影響更為深遠?!睆堈鹫f。
西南政法大學(xué)校長、中國法學(xué)會副會長林維表示,在此背景下,制定《辦法》,有利于促進人工智能擬人化互動服務(wù)有序開展,引領(lǐng)人工智能“負責任創(chuàng)新”,為構(gòu)建“以人為本”的人工智能治理體系提供重要的制度支撐。
構(gòu)建多維度風(fēng)險防控體系
在林維看來,《辦法》精準識別并系統(tǒng)回應(yīng)了由“擬人化”和“情感交互”兩大核心特征所衍生的突出風(fēng)險,以“人機邊界模糊”為治理重點,構(gòu)建多維度風(fēng)險防控體系。
《辦法》提出,建立身份透明制度,劃定擬人化安全紅線,精準防范人機邊界模糊引發(fā)的認知混淆、信任侵蝕、人格權(quán)侵害及倫理越界等風(fēng)險?!耙燥@著標識義務(wù)為核心的身份透明制度重在保障用戶知情權(quán)與選擇權(quán),為法律追責提供清晰起點,能夠有效遏制技術(shù)濫用的匿名性庇護,從源頭降低認知混淆與信任侵蝕風(fēng)險?!绷志S說。
擬人化互動服務(wù)因其高度情感回應(yīng)性與陪伴特性,具有天然的沉迷風(fēng)險?!掇k法》提出,服務(wù)提供者應(yīng)當顯著提示用戶正在與人工智能而非自然人進行交互。在用戶初次使用、重新登錄時,應(yīng)以彈窗等方式動態(tài)提醒用戶交互內(nèi)容為人工智能生成。事中階段,要求設(shè)置中斷冷卻提醒功能。要求用戶連續(xù)使用服務(wù)超過一定時長時,應(yīng)以彈窗等形式提醒用戶休息,旨在周期性打破算法營造的沉浸式幻覺。
在加強特殊群體保護方面,《辦法》提出,擬人化互動服務(wù)提供者應(yīng)當建立應(yīng)急響應(yīng)機制,發(fā)現(xiàn)用戶明確提出實施自殺、自殘等極端情境時,由人工接管對話,并及時采取措施聯(lián)絡(luò)用戶監(jiān)護人、緊急聯(lián)系人。針對未成年人、老年人用戶,提供者應(yīng)當在注冊環(huán)節(jié)要求填寫用戶監(jiān)護人、緊急聯(lián)系人等信息。
與此同時,《辦法》還著重強調(diào)對用戶交互信息的嚴格保護?!扒楦蓄悅€人信息能夠映射用戶的內(nèi)心世界、情感弱點與潛意識傾向,不當利用可能會引發(fā)心理操控、待遇歧視及情感勒索等風(fēng)險。同時,‘情感計算’相關(guān)技術(shù)可能被用于提供成癮性服務(wù),使用戶在無意識中暴露更多的敏感信息。因此,對用戶交互數(shù)據(jù)施加更嚴格的目的限制、安全存儲與使用禁令,是人格權(quán)保護在數(shù)智時代的延伸?!绷志S說。
邁向人機和諧共生
“《辦法》在明確安全底線的同時,也積極鼓勵擬人化互動服務(wù)在合理場景的創(chuàng)新應(yīng)用?!睆堈鹫f,擬人化互動服務(wù)作為人工智能技術(shù)應(yīng)用的重要方向,在教育培訓(xùn)、醫(yī)療健康、養(yǎng)老服務(wù)、文化娛樂等眾多領(lǐng)域具有廣闊的應(yīng)用前景。
李強治表示,在技術(shù)層面,擬人化互動服務(wù)推動著情感計算、多模態(tài)交互、長期記憶等前沿技術(shù)的集成創(chuàng)新與場景落地,為人機交互范式的演進提供了關(guān)鍵的試驗場和應(yīng)用反饋。
在經(jīng)濟層面,擬人化互動服務(wù)作為一個快速增長的新興賽道,被逐步應(yīng)用于娛樂、教育、養(yǎng)老、文化等場景。包括角色扮演、心理療愈、數(shù)字復(fù)活、AI玩具等多種產(chǎn)品服務(wù)形態(tài),帶動了從底層算法、內(nèi)容創(chuàng)作到硬件終端的產(chǎn)業(yè)鏈發(fā)展,成為“人工智能+”行動中極具活力的消費級應(yīng)用。
在社會層面,擬人化互動服務(wù)在老齡化程度加深、都市生活加劇個體孤獨感的背景下,為特定群體提供了可及的情感支持,具有一定的社會減壓閥和情感補給站功能。
在李強治看來,《辦法》既鼓勵技術(shù)發(fā)揮慰藉心靈、增進福祉的潛力,又劃出隱私、倫理與安全不可逾越的紅線,旨在引導(dǎo)擬人化互動服務(wù)真正成為構(gòu)建“有溫度的智能社會”的積極力量,推動社會穩(wěn)健步入一個人機和諧共生、科技真正向善的美好未來。(工人日報)