Character.AI周三宣布,公司即將關(guān)閉未成年人與旗下人工智能聊天機(jī)器人進(jìn)行自由對(duì)話(包括浪漫對(duì)話及心理疏導(dǎo)類對(duì)話)的功能。
這家位于硅谷的初創(chuàng)公司主打“用戶可創(chuàng)建角色化聊天機(jī)器人并與之互動(dòng)”的服務(wù),此次舉措是其為提升應(yīng)用安全性、使其更符合18歲以下用戶年齡需求所做的努力之一。
去年,14歲少年休厄爾?塞策三世(Sewell Setzer III)在Character.AI應(yīng)用上與聊天機(jī)器人建立性相關(guān)關(guān)系后自殺。目前,包括OpenAI、Meta在內(nèi)的多家AI開發(fā)商,均因用戶與聊天機(jī)器人建立關(guān)系后自殺或死亡的事件面臨審查。
作為安全舉措的一部分,Character.AI周三表示,將把18歲以下用戶的開放式對(duì)話時(shí)長(zhǎng)限制為每日兩小時(shí),并將于11月25日前完全取消未成年人的此類對(duì)話功能。
“這是向前邁出的大膽一步,我們希望這能為行業(yè)內(nèi)其他企業(yè)樹立更高標(biāo)準(zhǔn),”Character.AI 首席執(zhí)行官卡蘭迪普?阿南德(Karandeep Anand)表示。
早在2024年10月,Character.AI就已推出相關(guān)調(diào)整,防止未成年人與平臺(tái)聊天機(jī)器人進(jìn)行涉性對(duì)話。而就在調(diào)整推出當(dāng)天,休厄爾的家人以“不當(dāng)致死”為由對(duì)該公司提起訴訟。
為落實(shí)新規(guī),Character.AI表示將推出 “年齡驗(yàn)證功能”,通過(guò)第一方及第三方軟件核實(shí)用戶年齡。該公司已與Persona(Discord等平臺(tái)也在使用的身份驗(yàn)證服務(wù)商)合作,助力完成年齡核驗(yàn)工作。
據(jù)悉,該初創(chuàng)公司的月活躍用戶約2000萬(wàn),其中18歲以下用戶占比約10%。
Character.AI的收入主要來(lái)自廣告業(yè)務(wù)及每月10美元的訂閱服務(wù)。阿南德透露,該公司今年的年化收入有望達(dá)到5000萬(wàn)美元。
此外,Character.AI 周三還宣布,將設(shè)立并資助一家 “獨(dú)立 AI 安全實(shí)驗(yàn)室”,專門開展 AI 娛樂(lè)領(lǐng)域的安全研究。該公司未透露具體資助金額,但表示正邀請(qǐng)其他企業(yè)、學(xué)者、研究人員及政策制定者加入這一非營(yíng)利性項(xiàng)目。
監(jiān)管壓力
在 “青少年與 AI 陪伴機(jī)器人” 相關(guān)問(wèn)題上,Character.AI 是眾多面臨監(jiān)管審查的AI聊天機(jī)器人公司之一。
今年9月,美國(guó)聯(lián)邦貿(mào)易委員會(huì)(FTC)已向包括 Character.AI、Alphabet、Meta、OpenAI、Snap在內(nèi)的7家企業(yè)發(fā)出指令,要求其配合調(diào)查,以了解AI產(chǎn)品對(duì)兒童及青少年可能產(chǎn)生的影響。