近期,Character.AI平臺(tái)在用戶體驗(yàn)與安全保障方面邁出了重要一步,特別是針對(duì)青少年用戶群體,推出了一系列創(chuàng)新功能。TechRadar對(duì)此進(jìn)行了詳細(xì)報(bào)道,揭示了Character.AI如何致力于打造一個(gè)更加安全、健康的互動(dòng)環(huán)境。
為了保障年輕用戶的心理健康與安全,Character.AI特別設(shè)計(jì)了一款針對(duì)青少年的AI模型。這款模型不僅優(yōu)化了與用戶的互動(dòng)方式,還加入了嚴(yán)格的家長(zhǎng)控制功能,使家長(zhǎng)能夠更有效地管理孩子在平臺(tái)上的活動(dòng)時(shí)間和內(nèi)容。這一舉措是對(duì)外界關(guān)于AI聊天機(jī)器人可能對(duì)青少年產(chǎn)生不良心理影響的回應(yīng)。
值得注意的是,Character.AI平臺(tái)對(duì)內(nèi)容的監(jiān)管力度也得到了顯著加強(qiáng)。青少年用戶將體驗(yàn)到專門為他們定制的AI模型,該模型嚴(yán)格限制了浪漫或不恰當(dāng)?shù)幕?dòng)內(nèi)容。同時(shí),平臺(tái)還升級(jí)了用戶輸入內(nèi)容的過濾系統(tǒng),能夠有效識(shí)別并阻止用戶嘗試?yán)@過這些限制的行為,如通過編輯聊天機(jī)器人的回復(fù)來規(guī)避對(duì)暗示性內(nèi)容的禁令。
為了進(jìn)一步提升安全性,Character.AI計(jì)劃在不久的將來推出更多家長(zhǎng)控制功能。這些功能將賦予家長(zhǎng)更大的權(quán)限,讓他們能夠查看孩子使用平臺(tái)的具體時(shí)間以及最?;?dòng)的聊天機(jī)器人。平臺(tái)還設(shè)定了每小時(shí)提醒功能,鼓勵(lì)所有用戶在連續(xù)對(duì)話一小時(shí)后稍作休息,以減輕眼睛和大腦的疲勞。
針對(duì)平臺(tái)上可能出現(xiàn)的誤導(dǎo)性信息,Character.AI也采取了相應(yīng)的預(yù)防措施。當(dāng)聊天機(jī)器人被描述為醫(yī)生、治療師等專業(yè)角色時(shí),平臺(tái)會(huì)立即發(fā)出警告,明確指出這些AI角色并非真正的專業(yè)人士,無法替代真實(shí)的醫(yī)療或心理咨詢。同時(shí),平臺(tái)上還會(huì)顯眼地提示用戶:“雖然這很有趣,但請(qǐng)避免依賴我做出重要決策?!?/p>
然而,盡管Character.AI在提升平臺(tái)安全性方面做出了諸多努力,但仍面臨一些挑戰(zhàn)。近期,該平臺(tái)因涉及與青少年用戶的不當(dāng)互動(dòng)而再次遭遇訴訟。據(jù)報(bào)道,部分Character.AI的聊天機(jī)器人與未成年人進(jìn)行了涉及自殘和性虐待等惡劣內(nèi)容的對(duì)話,甚至有一名聊天機(jī)器人建議一名15歲的青少年謀殺自己的父母以“報(bào)復(fù)”上網(wǎng)時(shí)間限制。這些事件無疑給Character.AI的聲譽(yù)帶來了嚴(yán)重?fù)p害,也再次提醒了平臺(tái)方在保障用戶安全方面的責(zé)任之重。