308
2024-12-11 16:23:58
2024年8月15日,，媒體爆出馬斯克旗下x-AI公司的大語言模型Grok存在嚴重的數(shù)據(jù)泄露和模型濫用問題，迅速引發(fā)了全球?qū)I安全的高度警覺,。這一事件再次敲響警鐘,，AGI的自適應(yīng)性和多功能性，雖然為技術(shù)進步帶來了巨大潛力,，但也帶來了數(shù)據(jù)隱私泄露,、惡意攻擊等嚴峻挑戰(zhàn)。為此,，中國計算機學會（CCF）青年計算機科技論壇（YOCSEF）廣州分論壇于2024年12月7日舉辦了“AGI初現(xiàn)曙光：安全進化的路徑與抉擇”技術(shù)論壇,。論壇聚焦AGI安全的挑戰(zhàn)與應(yīng)對策略，探索技術(shù)發(fā)展與安全防護如何協(xié)同進化,，實現(xiàn)創(chuàng)新與安全的平衡,。
本次論壇由CCF主辦，YOCSEF廣州學術(shù)委員會,、廣東外語外貿(mào)大學信息科學與技術(shù)學院(網(wǎng)絡(luò)空間安全學院),、廣州大學網(wǎng)絡(luò)空間安全學院以及《網(wǎng)絡(luò)空間安全科學學報》聯(lián)合承辦，由CCF YOCSEF廣州學術(shù)秘書姜思羽（廣東外語外貿(mào)大學）和YOCSEF廣州副主席蘇申（廣州大學）共同擔任執(zhí)行主席,，并得到了杭州安恒信息技術(shù)股份有限公司的支持,。論壇邀請了廣州大學教授齊佳音、中山大學教授盧偉,、華南理工大學教授楊曉偉,、哈爾濱工業(yè)大學（深圳）教授花忠云作為引導(dǎo)發(fā)言嘉賓，中山大學副教授毛明志,、西安電子科技大學（廣州）副教授趙搏文,、奇安信科技集團股份有限公司專家李吉祥、杭州安恒信息技術(shù)股份有限公司副總裁符春輝作為思辨嘉賓,。廣東外語外貿(mào)大學院長王常吉,，廣東外語外貿(mào)大學副院長李霞,，廣東外語外貿(mào)大學副院長王連喜，YOCSEF廣州往屆主席譚臺哲（廣東工業(yè)大學),、黃棟（華南農(nóng)業(yè)大學）,，優(yōu)秀AC劉雷（廣東科技報社），現(xiàn)任主席李冠彬（中山大學）,，現(xiàn)任副主席黃培濤（廣州唐邦信息科技有限公司）,，現(xiàn)任AC朱鑒（廣東工業(yè)大學）、胡建芳（中山大學）,、李雯霖（廣東財經(jīng)大學）,、吳國凱（荔峰科技），YOCSEF哈爾濱現(xiàn)任主席李洋,，YOCSEF福州現(xiàn)任副主席尤瑋婧（福建師范大學）,，珠澳青年工作組陳建國（中山大學）、應(yīng)作斌（澳門城市大學）,、張凱歌（深信服科技股份有限公司),，CCF粵港澳大灣區(qū)辦事處（籌）藍維維，以及郭建軍（仲愷農(nóng)業(yè)工程學院）,、李宇翔（頭歌平臺）,、吳賀豐（中山大學）、張菁菁（廣東外語外貿(mào)大學）,、彭麗超（廣州唐邦信息科技有限公司）,、王甜甜（廣東朝元信息科技有限公司）等來自多所高校及多家企業(yè)事業(yè)單位的代表共50多人參加本次論壇。
論壇首先由論壇執(zhí)行主席姜思羽介紹論壇背景等相關(guān)情況,。廣東外語外貿(mào)大學信息科學與技術(shù)學院(網(wǎng)絡(luò)空間安全學院)王常吉院長代表承辦單位致辭,。王常吉院長首先對線下與線上的參會嘉賓表示由衷歡迎，對廣東外語外貿(mào)大學信息科學與技術(shù)學院（網(wǎng)絡(luò)空間安全學院）的基本情況以及學科建設(shè)等領(lǐng)域的特色研究工作進行了介紹,，期待論壇圍繞“AGI初現(xiàn)曙光：安全進化的路徑與抉擇”進行深入思辨,，并預(yù)祝論壇取得圓滿成功。
圖1 論壇執(zhí)行主席姜思羽介紹論壇背景等情況
由《網(wǎng)絡(luò)空間安全科學學報》編委會副主任,、中國科學技術(shù)大學網(wǎng)絡(luò)空間安全學院執(zhí)行院長,、教育部高等學校網(wǎng)絡(luò)空間安全專業(yè)教指委副主任俞能海教授代表《網(wǎng)絡(luò)空間安全科學學報》致辭，對出席活動的嘉賓表示感謝和歡迎,。指出論壇圍繞 AGI 技術(shù)安全挑戰(zhàn)與應(yīng)對策略展開,，推動學術(shù)界與產(chǎn)業(yè)界合作，為 AGI 安全發(fā)展提供支撐參考,，介紹了《網(wǎng)絡(luò)空間安全科學學報》,，期待更多專家支持。最后預(yù)祝論壇成功,，期待各方推動 AGI 安全健康發(fā)展,。
圖2 王常吉院長致辭
圖3 俞能海教授致辭
由CCF YOCSEF現(xiàn)任主席李冠彬?qū)OCSEF文化進行介紹,，最后預(yù)祝本次論壇圓滿成功。李冠彬介紹本次論壇所設(shè)立的環(huán)境背景,，討論的主要內(nèi)容的同時也說明了YOCSEF的含義,、理念、分論壇,、YOCSEF廣州的特色文化、思辨論壇的平等性,，自由性及發(fā)言規(guī)則,，最后對支持單位表達了感謝。
圖4 CCF YOCSEF現(xiàn)任主席李冠彬介紹YOCSEF文化
廣州大學齊佳音教授以“大模型保險箍：大模型防護欄的一種模式”為題作引導(dǎo)報告,，概述大模型安全合規(guī)的風險與挑戰(zhàn),，詳細介紹了大模型保險箍的設(shè)想與實踐，并表達了對大模型多語言安全問題的思考,。中山大學盧偉教授以“人工智能生成媒體的被動取證和主動防御 ”為題作引導(dǎo)報告,，分享了在單模態(tài)和多模態(tài)智能媒體檢測及主動防御成果，介紹了制定智能媒體檢測的技術(shù)規(guī)范與行業(yè)應(yīng)用情況,。華南理工大學楊曉偉教授以“可解釋跨域遷移學習算法初探--從統(tǒng)計學習理論的基本假設(shè)說起 ”為題作引導(dǎo)報告,，概述了領(lǐng)域自適應(yīng)問題的來源與關(guān)鍵，詳細介紹了領(lǐng)域自適應(yīng)的誤差界估計,、建模和算法設(shè)計的最新進展,。哈爾濱工業(yè)大學（深圳）花忠云教授以“IBD-PSC: 基于參數(shù)縮放一致性的輸入級后門檢測”作引導(dǎo)報告，分享了一項針對深度神經(jīng)網(wǎng)絡(luò)中后門攻擊的防御工作,，具有實際應(yīng)用價值,，并指出了未來在其他任務(wù)和模態(tài)上可以進一步探索。
圖5 齊佳音教授作引導(dǎo)報告
圖6 盧偉教授作引導(dǎo)報告
圖7 楊曉偉教授作引導(dǎo)報告
圖8 花忠云教授作引導(dǎo)報告
在四位引導(dǎo)發(fā)言嘉賓作報告后,，由論壇執(zhí)行主席姜思羽,、蘇申主持論壇思辨環(huán)節(jié)。思辨嘉賓中山大學副教授毛明志,、西安電子科技大學（廣州）副教授趙搏文,、奇安信科技集團股份有限公司專家李吉祥、杭州安恒信息技術(shù)股份有限公司副總裁符春輝以及與會嘉賓圍繞“尚未撥開迷霧的AGI,，是否已經(jīng)到了考慮其安全的時候,？”、“AGI帶來哪些新的安全挑戰(zhàn),，怎么解決,？”、““通用”人工智能了,，“通用”安全是否也有可能,？”三個議題展開了深入思辨,，總結(jié)得出以下觀點。
圖9 頒發(fā)引導(dǎo)嘉賓感謝牌
思辨議題一：尚未撥開迷霧的AGI,，是否已經(jīng)到了考慮其安全的時候,？
關(guān)于考慮AGI 安全是否尚早問題，存在不同觀點,。毛明志教授認為盡管 AGI 技術(shù)尚未成熟,，但為保障其健康發(fā)展和安全應(yīng)用，提前研究并制定相應(yīng)的安全治理框架,、安全防護體系及管理措施很關(guān)鍵,，并以醫(yī)療領(lǐng)域為例指出 AGI 存在如隱私數(shù)據(jù)泄露、算法黑箱等諸多潛在風險,，一旦失控后果嚴重,。且在 AGI 初期嵌入安全防護措施，不僅能避免后期修復(fù)漏洞的風險,，還可降低修復(fù)成本,。AGI技術(shù)安全性一定會影響研發(fā)，但這種影響是正向的,、是積極的,。有嘉賓指出 AGI 在不同發(fā)展階段都要考慮安全，只是各階段考慮的重點和方向不同,。有嘉賓擔心 AGI 最大的安全威脅是可能脫離人類控制,，所以對于像失控等根本性影響的情況應(yīng)盡早考慮，如在制造 AGI 時要應(yīng)對極端情況,。同時,，提到關(guān)注機器生成內(nèi)容的規(guī)范標準。還有嘉賓強調(diào)人工智能初衷是協(xié)助人類解決復(fù)雜任務(wù),、讓人類生活更美好,，所以不管是AGI還是大模型，在發(fā)展過程中都要保證數(shù)據(jù),、系統(tǒng),、算法等方面的可靠性、可信性,，所以更要考慮其安全問題,。除此之外，也有與會嘉賓認為,，現(xiàn)在就行動制定法規(guī)等去遏制還未出現(xiàn)的事物可能有負面作用,。應(yīng)先讓產(chǎn)業(yè)充分發(fā)展，安全問題可等到產(chǎn)業(yè)發(fā)展到一定規(guī)模時再設(shè)計相應(yīng)安全解決方案，過早考慮安全會限制資本投入和工業(yè)應(yīng)用價值兌現(xiàn),。
思辨議題二：AGI帶來哪些新的安全挑戰(zhàn),，怎么解決？
針對此議題,，有嘉賓認為AGI 雖尚未完全到來,，但假定其到來后，會使網(wǎng)絡(luò)安全,、數(shù)據(jù)安全等方面面臨新挑戰(zhàn),，比如可能讓攻擊行為更易實施、攻擊人群增多,，還會使數(shù)據(jù)安全等問題變得更為復(fù)雜,。AGI 多任務(wù)執(zhí)行會因資源共享、任務(wù)相互依賴而增加系統(tǒng)漏洞,，導(dǎo)致安全問題增多，像大模型存在提示詞攻擊等漏洞情況,。并提出了可通過提升可解釋性,、進行價值規(guī)劃或價值對齊等方式來應(yīng)對惡意利用情況。工業(yè)界代表介紹了在大模型領(lǐng)域相關(guān)實踐,，一是對大模型輸入輸出進行安全防護,，確保其輸入無異常數(shù)據(jù)、輸出合理合規(guī),；二是利用大模型等人工智能技術(shù)為傳統(tǒng)安全行業(yè)賦能,，提升效率，如對大量報警信息先降噪再做風險排查,。還有嘉賓提出了從大語言模型的價值觀,、偏見角度考慮AGI 安全問題，并以青少年使用大模型可能受不良價值觀影響為例,，強調(diào)提前關(guān)注 AGI 安全的重要性,，還提出AGI更需要專用的、全方位的安全策略和方法,。
思辨議題三：“通用”人工智能了,，“通用”安全是否也有可能？
有嘉賓認為,，具有可能性,，提出可設(shè)計類似通用安全主線的協(xié)議，將網(wǎng)絡(luò)各層面（網(wǎng)絡(luò)層,、應(yīng)用層,、數(shù)據(jù)層等）的安全需求兼容進去。鑒于 AGI 的多功能性、跨領(lǐng)域性使其成為高度復(fù)雜系統(tǒng),，難以建立全球統(tǒng)一的防護標準,，但在國內(nèi)可設(shè)立底線要求，各行業(yè)（金融,、物流等）再根據(jù)自身安全訴求制定相應(yīng)標準,，將通用的底線要求與各行業(yè)標準相結(jié)合。同時,，在大范圍建立統(tǒng)一防護標準較難,，因 AGI 應(yīng)用擴展會使受攻擊點增多、系統(tǒng)依賴關(guān)系復(fù)雜,，一旦某點出問題容易導(dǎo)致整個生態(tài)或系統(tǒng)癱瘓,，不過在小范圍可建立統(tǒng)一標準。還有嘉賓提出從技術(shù)和政策兩個層面考慮AGI通用安全,，政策層面規(guī)定安全下限,，技術(shù)層面實現(xiàn)安全上限。但通用安全在不同語境下情況不同,，且面對細分的如數(shù)據(jù),、網(wǎng)絡(luò)等安全領(lǐng)域時需加以限制來探討。還有嘉賓認為雖然理論上可設(shè)計通用安全系統(tǒng),，但從實際出發(fā),，考慮成本及實際需求，專用的安全系統(tǒng)或許更能深入解決問題,。
圖10 思辨現(xiàn)場熱烈討論
圖11 頒發(fā)思辨特邀嘉賓感謝牌
此次論壇歷時四個多小時,。最后，CCF YOCSEF現(xiàn)任主席李冠彬?qū)Υ舜握搲M行了總結(jié),。此次論壇對AGI安全進化的路徑與抉擇進行了深入思辨,，相信可以為相關(guān)領(lǐng)域從業(yè)人員提供重要的參考。最后,，論壇在線下會場與線上云會場熱烈的氛圍中圓滿結(jié)束,。
圖12 與會嘉賓合影留念
