174
2025-03-26 13:22:59（已編輯）
日前,，實驗室碩士生張雪琛作為第一作者的論文 “RemiHaven: Integrating 'In-Town' and 'Out-of-Town' Peers to Provide Personalized Reminiscence Support for Older Drifters” 被 CCF A類會議The ACM CHI Conference on Human Factors in Computing Systems (CHI) 會議錄用,。該論文是復(fù)旦計算機(jī)學(xué)院與老齡研究院跨學(xué)科研究團(tuán)隊AI4SS（AI for Social Science）的最新研究成果。
本研究通過多模態(tài)大模型（MLLMs）與社會科學(xué)理論的深度結(jié)合,，構(gòu)建了一款面向“老漂族”群體的個性化回憶支持系統(tǒng)——RemiHaven,。論文探討了“老漂族”在社交聯(lián)系減少和文化適應(yīng)困難下的心理健康挑戰(zhàn)，并深入分析了其回憶支持需求,。針對傳統(tǒng)回憶干預(yù)方式因回憶材料缺失和社交資源匱乏而受限的問題,，研究探索了生成式AI在老年心理健康干預(yù)中的應(yīng)用，提出了一種可擴(kuò)展,、個性化的回憶干預(yù)機(jī)制,。RemiHaven 依托 MLLMs 強(qiáng)大的生成能力，結(jié)合“同鄉(xiāng)伙伴”與“異鄉(xiāng)伙伴”雙重交互模式,，既體現(xiàn)了社會支持理論的核心思想,，也進(jìn)一步驗證了 AI 在促進(jìn)社會融合和改善老年群體心理健康方面的潛力。實驗結(jié)果表明,，該系統(tǒng)能夠有效提升回憶體驗,、增強(qiáng)情感共鳴，并對老年心理健康產(chǎn)生積極影響,，同時揭示了其在實際應(yīng)用中的潛在挑戰(zhàn),。研究不僅拓展了 AI 在社會科學(xué)中的應(yīng)用場景，也為未來智能社交支持系統(tǒng)的設(shè)計提供了重要參考,，推動了 AI 與老年學(xué),、心理學(xué)等學(xué)科的跨學(xué)科融合。
會議簡介
ACM CHI 2025 (The ACM Conference on Human Factors in Computing Systems)是國際公認(rèn)的人機(jī)交互頂級學(xué)術(shù)會議,，其在學(xué)術(shù)界和工業(yè)界享有極高聲譽(yù),，是中國計算機(jī)學(xué)會推薦的A類國際學(xué)術(shù)會議。與其它計算機(jī)科學(xué)會議相比,，CHI規(guī)模龐大,，更加注重人與技術(shù)之間的互動、探索創(chuàng)新的交互方式,、新興技術(shù)在真實世界的應(yīng)用,、以及技術(shù)使用中的社會影響與倫理因素。今年CHI2025會議錄用結(jié)果公布,，本次會議共收到5014份完整投稿,，最終錄用1249篇,，錄用率為24.9%。該會議計劃于2025年4月26日至5月1日在日本橫濱召開,。
論文簡介
RemiHaven：集成“同鄉(xiāng)伙伴”和“異鄉(xiāng)伙伴”以為老漂族提供個性化回憶支持
論文鏈接：https://arxiv.org/abs/2503.01358
隨著社會流動性的加劇和老齡化社會的發(fā)展,，越來越多的老年人為了與家庭團(tuán)聚或幫助子女減輕負(fù)擔(dān)而離開家鄉(xiāng)，選擇遷居至子女所在的城市,，被稱為“老漂族”,。據(jù)《中國移民報告》，過去 20 年中,，中國的老年流動人口從500萬增長至1800萬,，其中77%為“老漂族”,。然而,，相較于其他老年移民群體，“老漂族”面臨著社交聯(lián)系減少,、數(shù)字素養(yǎng)較低,、文化適應(yīng)困難等特殊挑戰(zhàn)。這些障礙使得他們難以融入新的城市環(huán)境,，孤獨,、失落感和抑郁情緒隨之增加。研究表明,，回憶干預(yù)是改善老年人心理健康的重要方法,，它能夠釋放消極情緒、增強(qiáng)幸福感,、提高自尊,，適當(dāng)?shù)幕貞涍€有助于改善老年人的認(rèn)知能力，促進(jìn)健康老齡化,。對于“老漂族”而言,，回憶更是幫助他們維持自我身份認(rèn)同、維系情感聯(lián)系,、緩解遷移帶來的心理不適的重要手段,。研究發(fā)現(xiàn)，環(huán)境記憶可以在過去和現(xiàn)在之間建立心理紐帶,，幫助老年人在陌生的環(huán)境中尋找歸屬感和安全感,。傳統(tǒng)的回憶干預(yù)方式主要依賴于實體回憶材料（如老照片、紀(jì)念品）喚起回憶,，激發(fā)回憶對話,。然而，對于“老漂族”而言,，遷移往往導(dǎo)致回憶材料缺失,，并減少社交資源的獲取機(jī)會,，進(jìn)一步降低了這些干預(yù)方法在該群體中的有效性。因此,，我們提出一個關(guān)鍵問題：如何設(shè)計一個能夠提供個性化回憶體驗的智能支持工具,，以幫助“老漂族”克服回憶材料缺乏等潛在障礙？
大語言模型（LLMs）,，尤其是多模態(tài)大模型（MLLMs）的發(fā)展,，為解決上述問題提供了新的可能性。我們的研究不僅僅是利用LLMs的交互能力和內(nèi)容生成能力,，而是專注于定制化MLLMs,，以更好地滿足“老漂族”的特定回憶需求。通過調(diào)整 MLLMs,，使其在缺乏實體回憶材料的情況下仍能生成真實而個性化的回憶內(nèi)容,，包括回憶對話、圖像和文本,，使其能夠與“老漂族”的生活經(jīng)歷產(chǎn)生共鳴,，從而打造更具沉浸感的回憶體驗。
在本研究中,，我們主要完成了三項核心工作,。首先，我們開展了兩階段形成性研究,，以系統(tǒng)性地理解“老漂族”當(dāng)前的回憶實踐及其對未來回憶支持工具的期望,。在第一階段，我們通過半結(jié)構(gòu)化訪談,，揭示了“老漂族”在回憶實踐中面臨的獨特挑戰(zhàn),。在第二階段，我們通過基于故事板的用戶研究,，進(jìn)一步探索了參與者對回憶支持工具的需求和期望,。通過這一迭代研究過程，我們總結(jié)出了五個關(guān)鍵設(shè)計目標(biāo),。其次,，基于上述設(shè)計目標(biāo)，我們開發(fā)并優(yōu)化了 RemiHaven,，一款專為“老漂族”設(shè)計的回憶支持工具,。該工具的核心是一個基于MLLMs的對話Agent，并集成了兩個關(guān)鍵模塊,。提示詞組織（Prompt Organization）模塊用于聚合并結(jié)構(gòu)化用戶對話及背景信息,，以提供更加個性化的回憶支持；回憶材料生成（Memory-Material Generation）模塊則能夠生成個性化的多模態(tài)內(nèi)容，包括圖像和文本,，以增強(qiáng)回憶體驗,。RemiHaven 的一大創(chuàng)新點在于其支持兩種不同的交互模式：其一是“同鄉(xiāng)伙伴”對話模式，模擬熟悉的社交環(huán)境,，幫助用戶回憶家鄉(xiāng)往事,，增強(qiáng)情感共鳴；其二是“異鄉(xiāng)伙伴”對話模式,，提供陌生的社交背景,，鼓勵用戶講述自己的故事，增強(qiáng)表達(dá)意愿,。此外,，RemiHaven 生成的內(nèi)容可以整理成個性化的回憶故事集，用戶可將其導(dǎo)出和分享,，以便更好地保存珍貴的記憶,。最后，我們招募了 10 名“老漂族”用戶,，對 RemiHaven 進(jìn)行了回憶支持效果的評估,。研究采用了問卷調(diào)查和半結(jié)構(gòu)化訪談,，并結(jié)合技術(shù)接受模型（TAM）以及工具與設(shè)計策略的匹配度進(jìn)行測評,。定量和定性研究結(jié)果顯示，RemiHaven 顯著改善了用戶的回憶體驗,，并對參與者的情感產(chǎn)生了積極影響,。此外，我們的研究進(jìn)一步揭示了為“老漂族”設(shè)計回憶支持工具的關(guān)鍵見解,，并探討了生成式 AI 在回憶干預(yù)中的廣泛應(yīng)用前景,。
圖1 RemiHaven系統(tǒng)截圖
用戶研究
為了指導(dǎo)我們的設(shè)計過程，我們開展了一項形成性研究,，旨在深入了解“老漂族”群體在回憶實踐中的需求與挑戰(zhàn),。我們最終招募了13名“老漂族”成員，進(jìn)行了半結(jié)構(gòu)化訪談和基于故事板的用戶研究,，并從中得出了以下五個關(guān)鍵設(shè)計目標(biāo)：
D1：允許用戶根據(jù)個人偏好配置回憶助手的控制級別（即熟悉家鄉(xiāng)的引導(dǎo)者和對家鄉(xiāng)感興趣的傾聽者）,；
D2：確保助手能夠訪問用戶的背景信息，以生成與其回憶相符的對話和材料,；
D3：使用戶能夠修改生成的內(nèi)容,，允許根據(jù)需要對特定區(qū)域進(jìn)行調(diào)整；
D4：回憶助手能夠為用戶補(bǔ)充細(xì)節(jié),、整理記憶,，并允許將回憶內(nèi)容導(dǎo)出為實體的生活故事書；
D5：集成語音互動功能,，并提供溫和友好的語音反饋,，以增強(qiáng)老年用戶的可訪問性和易用性,。
模型構(gòu)造
根據(jù)設(shè)計目標(biāo)，我們開發(fā)了RemiHaven,，這是一款個性化回憶支持系統(tǒng),，旨在幫助“老漂族”在社交聯(lián)系減少和回憶材料缺失的情況下更好地回憶過去、增強(qiáng)情感共鳴,。通過利用多模態(tài)大語言模型（MLLMs）,，RemiHaven 集成了“同鄉(xiāng)伙伴”與“異鄉(xiāng)伙伴”雙重交互模式，提供個性化,、互動性強(qiáng)的回憶體驗,。
圖2 RemiHaven框架設(shè)計
① 用戶配置模塊
為了生成個性化回憶內(nèi)容，RemiHaven 在用戶首次使用時會請求其基本信息,，包括性別,、年齡、家鄉(xiāng)等,。系統(tǒng)會基于這些信息,，結(jié)合相關(guān)的地理知識和文化背景，補(bǔ)充用戶的個性化數(shù)據(jù),，以用于后續(xù)的回憶內(nèi)容生成,。這一設(shè)計確保了 RemiHaven 在提供回憶支持時能夠符合用戶的個人經(jīng)歷，增強(qiáng)回憶內(nèi)容的真實性和情感共鳴,。
② 基于 MLLM 的回憶對話助手
在此模塊中,，用戶可以通過語音或文本與基于MLLMs的回憶助手進(jìn)行交互。用戶可以選擇兩種不同的對話模式,，即“同鄉(xiāng)伙伴”模式（In-Town Peers） 和 “異鄉(xiāng)伙伴”模式（Out-of-Town Peers）,，以適應(yīng)不同的回憶傾向和交互需求。“同鄉(xiāng)伙伴”模式模擬用戶家鄉(xiāng)的熟悉人物,，使 RemiHaven 在對話過程中扮演更積極的引導(dǎo)角色,，幫助用戶回憶家鄉(xiāng)場景，并提供回憶觸發(fā)提示,。而“異鄉(xiāng)伙伴”模式則更類似于初次見面的朋友,，對用戶的家鄉(xiāng)表現(xiàn)出興趣，鼓勵用戶以更自由的方式講述自己的故事,，并按照自己的節(jié)奏進(jìn)行回憶,。兩種模式提供不同程度的交互控制，以適應(yīng)用戶對引導(dǎo)式回憶或自由回憶的不同偏好,。
③ 提示詞組織模塊
該模塊負(fù)責(zé)組織回憶對話中的語境信息,，并結(jié)合用戶的個人背景信息，構(gòu)建回憶內(nèi)容生成所需的提示詞（Prompts）。在回憶過程中,，系統(tǒng)會持續(xù)更新對話語境,，以確保生成的回憶內(nèi)容與用戶的真實經(jīng)歷相匹配。此外,，該模塊還能將用戶輸入的回憶片段進(jìn)行整理,，以便后續(xù)用于回憶材料的生成。
④ 回憶材料生成模塊
在本模塊中,，系統(tǒng)利用前述的提示詞信息,，生成個性化的回憶圖像和文本，幫助用戶重現(xiàn)過去的場景,。用戶可以與助手進(jìn)行多輪迭代對話,，對生成的回憶材料進(jìn)行回顧、修改和篩選,，以確保最終的回憶內(nèi)容符合用戶的真實體驗和情感需求,。最終，生成的回憶內(nèi)容可以被整理成個性化的“回憶故事集”（Life Storybook）,，用戶可選擇將其導(dǎo)出和分享,，以便長期保存或與家人朋友共同回憶。這一功能使 RemiHaven 不僅是一個回憶支持工具,，同時也能幫助用戶記錄和傳承個人的生活經(jīng)歷,。
評估與討論
評估結(jié)果表明，RemiHaven成功實現(xiàn)了各項設(shè)計目標(biāo),，并在支持“老漂族”回憶方面展現(xiàn)了巨大潛力,。系統(tǒng)不僅能夠有效激發(fā)用戶的記憶,，還積極增強(qiáng)了回憶體驗,，并促進(jìn)了情感上的益處。通過多樣的對話模式,，RemiHaven展示了其在滿足個性化需求和適應(yīng)多元使用場景方面的靈活性,。然而，仍存在一些關(guān)鍵問題亟待解決,，例如如何在用戶控制與系統(tǒng)自動化之間找到平衡,，此外，系統(tǒng)生成的內(nèi)容可能存在文化或情境偏差,，需進(jìn)一步提升生成模型的精準(zhǔn)度,。未來的改進(jìn)方向包括提升生成內(nèi)容的個性化與準(zhǔn)確性，特別是在文化背景和地方特色方面,，同時優(yōu)化系統(tǒng)適應(yīng)性,，以更好地滿足不同用戶的需求與使用習(xí)慣。
小結(jié)
本研究中，我們設(shè)計并實現(xiàn)了RemiHaven,，一款專為“老漂族”提供回憶支持的工具,，以解決該群體在回憶過程中缺乏回憶材料的問題，并為其提供個性化的回憶體驗,，從而促進(jìn)情感共鳴和心理健康,。通過兩階段形成性研究，我們識別了“老漂族”在回憶支持方面的特殊需求,，并開發(fā)了一款基于多模態(tài)大模型（MLLMs） 的智能工具,，集成“同鄉(xiāng)伙伴” 和 “異鄉(xiāng)伙伴” 兩類虛擬角色，以提供不同的回憶交互模式,。研究評估結(jié)果表明,，RemiHaven 能夠有效促進(jìn)用戶的回憶，并通過其多模態(tài)內(nèi)容與雙重交互模式,，幫助用戶改善情緒,，提升回憶體驗。未來,，我們將繼續(xù)優(yōu)化 RemiHaven,，探索其在更廣泛人群中的應(yīng)用，并進(jìn)一步評估其在長期實踐中的整體效果,，以完善其在回憶支持領(lǐng)域的應(yīng)用價值,。
作者信息
如果您對本文內(nèi)容感興趣的話，可以與作者聯(lián)系：
張雪琛 復(fù)旦大學(xué)計算機(jī)學(xué)院協(xié)同信息與系統(tǒng)實驗室 碩士研究生
研究方向：AI for 老齡,、人機(jī)交互,、文本建模與分析
聯(lián)系方式：[email protected]
實驗室相關(guān)論文
[1] Shitong Duan, Xiaoyuan Yi, Peng Zhang, Tun Lu, Xing Xie, and Ning Gu. 2024. Denevil: Towards Deciphering and Navigating the Ethical Values of Large Language Models via Instruction Learning. In The Twelfth International Conference on Learning Representations, ICLR 2024, Vienna, Austria, May 7-11, 2024.
[2]Jiahao Liu, Yiyang Shao, Peng Zhang, Dongsheng Li, Hansu Gu, Chao Chen, Longzhi Du, Tun Lu, and Ning Gu. "Filtering Discomforting Recommendations with Large Language Models." In THE WEB CONFERENCE 2025.
[3]Yubo Shu, Haonan Zhang, Hansu Gu, Peng Zhang, Tun Lu, Dongsheng Li, and Ning Gu. RAH! RecSys–Assistant–Human: A Human-Centered Recommendation Framework With LLM Agents. IEEE Transactions on Computational Social Systems, 2024.
[4]Yiying Wu, Xianghua Ding, Xuelan Dai, Peng Zhang*, Tun Lu, and Ning Gu. Alignment work for urban accessibility: a study of how wheelchair users travel in urban spaces. Proceedings of the ACM on Human-Computer Interaction, 2022, 6(CSCW2): 1-22.
如果您對我們實驗室的相關(guān)工作感興趣，歡迎訪問我們的網(wǎng)站：
協(xié)同信息與系統(tǒng)（CISL）實驗室
實驗室網(wǎng)站主頁：https://cscw.fudan.edu.cn/
實驗室Github主頁：https://github.com/FudanCISL
