?近期,，實(shí)驗(yàn)室博士生李亞瓊作為第一作者的論文“DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship”被The ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW) 會(huì)議錄用,。面對(duì)在線社區(qū)毒性內(nèi)容審查，用戶有多樣性的需求,，如結(jié)果理解和內(nèi)容修改等,。針對(duì)這一問題，我們進(jìn)行了形成性研究,，調(diào)查社交用戶對(duì)毒性內(nèi)容審查的不同需求及相應(yīng)的設(shè)計(jì)期望,，并構(gòu)建了基于ChatGPT的審查工具DeMod。DeMod具有可解釋性檢測(cè)和個(gè)性化修改功能,，可以向社交用戶提供毒性內(nèi)容的細(xì)粒度檢測(cè)結(jié)果,、詳細(xì)的結(jié)果解釋和個(gè)性化修改建議。最后,，自動(dòng)評(píng)估和人類評(píng)估相結(jié)合的驗(yàn)證結(jié)果表明了DeMod在功能豐富性,、審查準(zhǔn)確性和工具易用性等方面的優(yōu)勢(shì),。基于這些發(fā)現(xiàn),，我們進(jìn)一步提出了對(duì)未來內(nèi)容審查系統(tǒng)設(shè)計(jì)的見解,。
期刊簡(jiǎn)介
The ACM Conference on Computer-Supported Cooperative Work and Social Computing (CSCW) 會(huì)議是人機(jī)交互與普適計(jì)算方向的權(quán)威國(guó)際學(xué)術(shù)會(huì)議（CCF A類推薦國(guó)際會(huì)議），涵蓋了計(jì)算機(jī)網(wǎng)絡(luò)與通信技術(shù),、多媒體技術(shù),、社會(huì)學(xué)、心理學(xué),、管理科學(xué)等多門學(xué)科的綜合應(yīng)用,，在人機(jī)交互領(lǐng)域享有很高的學(xué)術(shù)聲譽(yù)。該會(huì)議計(jì)劃于2025年10月18日至10月22日在挪威卑爾根召開,。
論文簡(jiǎn)介
DeMod：具備可解釋檢測(cè)和個(gè)性化修復(fù)的毒性內(nèi)容審查工具
如今,，社交媒體已成為用戶自我披露的熱門平臺(tái)，如數(shù)億人每天通Twitter,、Facebook和微博記錄生活,、表達(dá)觀點(diǎn)、與朋友互動(dòng),。盡管社交媒體的開放性為內(nèi)容分享提供了廣闊空間,，也導(dǎo)致了毒性內(nèi)容的披露。所謂毒性內(nèi)容,，是指“可能導(dǎo)致他人退出討論的粗魯,、不尊重或不合理的評(píng)論”，包括仇恨言論,、騷擾,、侮辱及虐待和攻擊性言論等。由于語(yǔ)境崩塌現(xiàn)象,，用戶通常未意識(shí)到自己正在披露毒性內(nèi)容,。研究發(fā)現(xiàn)，約三分之二的毒性內(nèi)容屬于隱性毒性,，而用戶往往對(duì)這些言論產(chǎn)生的傷害并不自知,。另有研究表明，23.00%的用戶在回顧自己發(fā)布的內(nèi)容時(shí)感到后悔,，原因包括未考慮后果,、文化誤判、意外受眾和平臺(tái)規(guī)范誤解等,。為避免毒性內(nèi)容披露,，社交媒體用戶通常在發(fā)布前進(jìn)行審查，如自我審查或借助自動(dòng)化工具等方式。研究發(fā)現(xiàn),，社交用戶常通過檢查,、調(diào)整或刪除部分內(nèi)容來確保其適合發(fā)布。盡管已有多種毒性內(nèi)容審查方法,，但是絕大多數(shù)聚焦于檢測(cè)毒性內(nèi)容，如使用Perspective API 評(píng)估毒性分?jǐn)?shù)或使用RECAST工具識(shí)別毒性關(guān)鍵詞,。然而,，毒性內(nèi)容審查是一個(gè)復(fù)雜過程，檢測(cè)只是一個(gè)初步的任務(wù),，社交用戶可能需要理解檢測(cè)結(jié)果和修改內(nèi)容,。例如，盡管RECAST工具能幫助用戶識(shí)別毒性詞匯,，但用戶常因知識(shí)或經(jīng)驗(yàn)不足,，不知如何降低其毒性。因此,，需要一個(gè)整體的自動(dòng)化工具,，幫助用戶完成毒性內(nèi)容檢測(cè)、內(nèi)容修改等多項(xiàng)審查任務(wù),。
構(gòu)建一個(gè)整體性毒性內(nèi)容審查工具面臨諸多挑戰(zhàn),。首先，社交用戶對(duì)毒性內(nèi)容審查的多樣化需求尚不明確,。正如前述,，用戶可能對(duì)工具有不同功能要求，如提供豐富的解釋和修改建議,。因此,，在研究毒性內(nèi)容審查工具時(shí)，需系統(tǒng)調(diào)查用戶的審查需求,；其次,，設(shè)計(jì)和實(shí)現(xiàn)一個(gè)符合社交用戶整體性需求的毒性審查工具并非易事。該工具應(yīng)具備多重目標(biāo),，如提供精準(zhǔn)檢測(cè),、細(xì)粒度結(jié)果和個(gè)性化修改，如何實(shí)現(xiàn)不同功能并高效整合是一個(gè)巨大挑戰(zhàn),。第三,，面向這一多功能的毒性內(nèi)容審查工具的實(shí)際評(píng)估較為困難。為了驗(yàn)證工具在幫助社交用戶審查毒性內(nèi)容方面的表現(xiàn),，需在真實(shí)社交媒體場(chǎng)景中進(jìn)行長(zhǎng)期評(píng)估,，而且像個(gè)性化修改等效果缺少量化的檢測(cè)指標(biāo)，難以評(píng)估。
針對(duì)上述問題與挑戰(zhàn),，我們設(shè)計(jì)了一個(gè)幫助社交媒體用戶進(jìn)行毒性內(nèi)容審查的工具DeMod,，具備可解釋檢測(cè)和個(gè)性化修改等多功能。首先,，我們?cè)谥袊?guó)流行的社交平臺(tái)——微博上進(jìn)行需求調(diào)研,，通過問卷調(diào)查和訪談，我們揭示了社交用戶的毒性內(nèi)容審查實(shí)踐,、遇到的問題以及對(duì)毒性內(nèi)容審查工具的設(shè)計(jì)期望,，并提出五個(gè)設(shè)計(jì)目標(biāo)：提供整體性審查、提供細(xì)粒度檢測(cè)結(jié)果,、增強(qiáng)可解釋性,、給予個(gè)性化修改建議、確保用戶控制權(quán),。其次,，基于五項(xiàng)目標(biāo)，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了一個(gè)名為DeMod的整體性自動(dòng)化毒性內(nèi)容審查工具,，如下圖所示,。DeMod本質(zhì)是一個(gè)基于ChatGPT增強(qiáng)的內(nèi)容審查工具，配備了可解釋檢測(cè)器（Explainable Detector）和個(gè)性化修改器（Personalized Modifier）模塊,?？山忉寵z測(cè)器提供即時(shí)解釋（Immediate Explanation）和動(dòng)態(tài)解釋(Dynamic Explanation)結(jié)果。即時(shí)解釋通過關(guān)鍵詞或毒性原因向用戶提供說明當(dāng)前檢測(cè)內(nèi)容為何具有毒性,，動(dòng)態(tài)解釋則通過模擬受眾對(duì)即將發(fā)布的內(nèi)容的態(tài)度,，幫助社交用戶了解當(dāng)前內(nèi)容的潛在影響。兩種解釋旨在增強(qiáng)社交用戶對(duì)毒性內(nèi)容的理解,，進(jìn)而促使用戶的發(fā)布前審查和自我調(diào)節(jié)行為,。在此之后，個(gè)性化修改器根據(jù)社交用戶的多重需求提供修改建議,，包括去除毒性,、保留原意、以及體現(xiàn)用戶的個(gè)性化語(yǔ)言風(fēng)格,。通過這些功能,，社交用戶可以更高效、靈活地進(jìn)行內(nèi)容審查,。第三,，我們以微博為研究平臺(tái)，將DeMod作為第三方工具實(shí)現(xiàn),，并招募35名參與者對(duì)DeMod的功能,、效果,、設(shè)計(jì)三個(gè)維度進(jìn)行了綜合的評(píng)估，結(jié)果表明DeMod在毒性內(nèi)容審查方面表現(xiàn)出色,，并獲得參與者的高度認(rèn)可,。基于以上研究與結(jié)果,，我們還提出了若干關(guān)于內(nèi)容審查工具設(shè)計(jì)的見解,，包括從全局視角增強(qiáng)審查工具設(shè)計(jì)、重視過程和結(jié)果可解釋性,、提供個(gè)性化改進(jìn)措施,，以幫助用戶發(fā)布更合適的內(nèi)容。
圖1 DeMod框架設(shè)計(jì)
模型構(gòu)造
1. 可解釋檢測(cè)器（Explainable Detector）：實(shí)證研究表明,，用戶希望在毒性內(nèi)容審查中獲得細(xì)粒度的檢測(cè)結(jié)果和解釋性反饋。因此,，我們?cè)O(shè)計(jì)了基于ChatGPT的可解釋檢測(cè)器,。首先，該工具輸出毒性檢測(cè)結(jié)果,，包括分類結(jié)果（是否含有毒性內(nèi)容）以及相關(guān)的關(guān)鍵詞,。分類結(jié)果告知用戶當(dāng)前帖子是否包含毒性內(nèi)容，如果是,，工具會(huì)高亮顯示引發(fā)毒性的關(guān)鍵詞,，以增強(qiáng)用戶對(duì)毒性細(xì)節(jié)的感知。在此基礎(chǔ)上,，檢測(cè)器提供即時(shí)和動(dòng)態(tài)解釋,。即時(shí)解釋說明帖子及關(guān)鍵詞為何具有毒性；動(dòng)態(tài)解釋則通過利用ChatGPT的角色模擬能力預(yù)測(cè)受眾對(duì)帖子的態(tài)度和意見,，幫助用戶了解內(nèi)容可能產(chǎn)生的社會(huì)影響,。這一設(shè)計(jì)契合基本人類價(jià)值理論，強(qiáng)調(diào)個(gè)體行為易受他人價(jià)值觀的影響,，包括他人的態(tài)度,、個(gè)人信息等。為確保用戶的自主性,，DeMod允許用戶手動(dòng)選擇受眾角色,，如父母、朋友甚至陌生人,，并進(jìn)行態(tài)度模擬,。一旦選擇了受眾，DeMod便會(huì)模擬該角色對(duì)帖子的態(tài)度,。上述檢測(cè)及解釋任務(wù)均基于ChatGPT模型實(shí)現(xiàn),。
2. 個(gè)性化修改器（Personalized Modifier）：實(shí)證研究表明,，用戶希望修改建議不僅能幫助他們?nèi)コ又械亩拘詢?nèi)容，還能盡量保留原帖的語(yǔ)義和用戶的個(gè)性化語(yǔ)言風(fēng)格,。我們發(fā)現(xiàn),，直接使用類似于檢測(cè)任務(wù)的提示詞讓大模型執(zhí)行毒性內(nèi)容修改任務(wù)具有挑戰(zhàn)性，很難同時(shí)實(shí)現(xiàn)這些多重目標(biāo),。然而,，大模型具備小樣本學(xué)習(xí)能力，即Few-shot Learning,。如果提供一些展示原始帖子（包含毒性內(nèi)容）與相應(yīng)修改后的內(nèi)容（去除毒性但保留相似語(yǔ)義和用戶語(yǔ)言風(fēng)格）的示例對(duì),，大模型可以更好地實(shí)現(xiàn)這些修改目標(biāo)。因此,，我們通過構(gòu)建毒性詞空間,、基于無(wú)毒樣例構(gòu)造毒性樣例、無(wú)毒/毒性樣例對(duì)翻轉(zhuǎn)等步驟構(gòu)建面向社交用戶的個(gè)性化修改樣例對(duì),，如圖2所示,，以此提升基于ChatGPT的個(gè)性化修改器的效果。
圖2 個(gè)性化修改樣例對(duì)構(gòu)造過程
小結(jié)
本研究中,，我們開發(fā)了DeMod,，一個(gè)集成可解釋檢測(cè)與個(gè)性化修改功能的整體性毒性內(nèi)容審查工具。通過提供多種解釋和修改建議,，DeMod減輕了社交用戶的審查負(fù)擔(dān),，并提升了他們的使用體驗(yàn)。廣泛的評(píng)估表明,，DeMod在功能豐富性,、審查性能和易用性等方面具有多重優(yōu)勢(shì)。作為第一個(gè)研究整體性毒性內(nèi)容審查的工作,，DeMod也存在一些局限性,。例如， DeMod目前僅支持文本模態(tài)的毒性內(nèi)容審查以及僅在微博平臺(tái)上進(jìn)行評(píng)估驗(yàn)證,，限制了對(duì)多模態(tài)內(nèi)容以及不同社交平臺(tái)的普遍性研究,。因此未來，我們將專注于提升DeMod對(duì)多模態(tài)內(nèi)容的審查能力,，并拓展其在更多場(chǎng)景中的應(yīng)用,。
作者信息
如果您對(duì)本文內(nèi)容感興趣的話，可以與作者聯(lián)系：
李亞瓊 復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院協(xié)同信息與系統(tǒng)實(shí)驗(yàn)室 博士研究生
研究方向：社交內(nèi)容審核,、CSCW,、人機(jī)交互
聯(lián)系方式：[email protected]
383
2024-10-15 14:23:38（已編輯）
