引領(lǐng)應(yīng)急科普進入多模態(tài)新時代

灣區(qū)時訊 中山大學(xué)智能工程學(xué)院沈穎團隊今日宣布,，專為應(yīng)急科普打造的多模態(tài)大語言模型家族——“神機大模型”的最新版本2.0正式上線。作為應(yīng)急科普領(lǐng)域的AI領(lǐng)航者,，“神機大模型2.0”不僅繼承了前代版本的應(yīng)急知識快速問答,、規(guī)章制度查詢等功能，還創(chuàng)新性地引入了識圖辨事的多模態(tài)應(yīng)用場景,。特別是針對火災(zāi)預(yù)防這一關(guān)鍵環(huán)節(jié),，神機大模型2.0版本通過豐富的圖文交互，能夠識別圖像中潛在的火災(zāi)風(fēng)險點,，幫助非專業(yè)人士識別日常生活場景中的火災(zāi)隱患,，并提供專業(yè)的防范建議，使得火災(zāi)預(yù)防成為每個家庭的一部分,。此外,，2.0版還增添了圖文并茂的火災(zāi)知識科普內(nèi)容，讓應(yīng)急知識的學(xué)習(xí)變得既有趣又詳盡,，充滿專業(yè)細節(jié)。網(wǎng)頁版更新的同時,，神機APP也同步推出,，讓用戶在使用過程中更為便捷，響應(yīng)速度更加快速,。

神機2.0識圖辨事頁面展示

研發(fā)團隊進行討論

中山大學(xué)智能工程學(xué)院為神機大模型的研發(fā)提供了先進的研究平臺與人才培養(yǎng)平臺,。中國計算機學(xué)會青年計算機科技論壇（YOCSEF）廣州、廣東省消防科學(xué)與智能應(yīng)急技術(shù)重點實驗室,、琶洲實驗室-人工智能與數(shù)字經(jīng)濟廣東省實驗室為我們的研究團隊提供了豐富的學(xué)術(shù)資源與寶貴的行業(yè)經(jīng)驗指導(dǎo),。騰訊AI Lab在技術(shù)交流方面與我們的團隊進行了深入合作與分享。

神機官網(wǎng)：shenjiai.cn

神機APP下載頁面：shenjiai.cn/dl

團隊主頁：https://github.com/SYSU-NLPLab/AIGC

神機APP下載二維碼：

神機2.0有哪些新突破,？

多模態(tài)理解能力：“神機大模型2.0”實現(xiàn)了多模態(tài)理解能力的新突破,。通過對圖像進行識別與推理，模型能夠完成從易燃物識別,、火災(zāi)隱患分析到滅火器械使用教學(xué)和逃生指南解讀等一系列復(fù)雜任務(wù),。結(jié)合用戶的個性化查詢與現(xiàn)行的消防設(shè)施國家標準及廣東省地方標準等資料，實現(xiàn)更加專業(yè)且細致的多模態(tài)消防應(yīng)急科普,。

聚焦火災(zāi)隱患：新版本聚焦于面向公眾科普的日常場景火災(zāi)隱患的識別,，基于豐富的多模態(tài)理解能力，幫助用戶識別潛在的火災(zāi)風(fēng)險,，例如,，堆積的紙箱、裸露的電線等容易引發(fā)火災(zāi)的因素都可以被及時捕捉到,。這不僅提高了公眾的安全意識,，也能提供相應(yīng)的改善措施，為火災(zāi)預(yù)防提供了有力的技術(shù)支持。

圖文并茂知識科普：在火災(zāi)知識科普方面,，“神機大模型2.0”也進行了全面升級,。通過圖文并茂的方式，為用戶提供了更加專業(yè),、趣味,、充滿科普細節(jié)的火災(zāi)安全教育內(nèi)容。無論是滅火器的使用,，還是逃生指南的解讀,，新版本都能以更加直觀、易懂的形式呈現(xiàn)給用戶,，提高了科普的趣味性和實用性,。

全新的神機2.0有哪些技術(shù)亮點？

精細化火災(zāi)圖文數(shù)據(jù)構(gòu)建：基于公眾對火災(zāi)預(yù)防知識與防火安全教育的科普需求,，團隊設(shè)計了包括火災(zāi)隱患識別,、消防知識科普、逃生指南解讀等一系列識圖辨事任務(wù),。為了確保模型的準確性和泛化能力,，團隊從開源的1億個中文圖文對中定向篩選出了70K張與火災(zāi)相關(guān)的圖像，針對不同任務(wù)生成了相應(yīng)的問答對數(shù)據(jù),。這不僅豐富了模型的學(xué)習(xí)材料,，也提高了模型對現(xiàn)實世界復(fù)雜情況的理解能力。

專業(yè)指南導(dǎo)向的多模態(tài)RAG：研究團隊利用專業(yè)的公開消防建筑規(guī)范國家標準與廣東省地方標準等白皮書進行消防專業(yè)知識的向量庫構(gòu)建,，基于專家標注的消防設(shè)施檢測報告進行圖文向量庫構(gòu)建,，利用多模態(tài)檢索增強生成技術(shù)（RAG）增強對火災(zāi)隱患的識別的準確性與有效性，實現(xiàn)更精細,、更專業(yè),、更詳細的火災(zāi)隱患排查與建筑設(shè)施安全評估。

高性能模型訓(xùn)練與評測：為了在提高消防領(lǐng)域?qū)I(yè)能力的同時維持大語言模型通用能力,，在自行構(gòu)建的火災(zāi)圖文數(shù)據(jù)與通用大規(guī)模圖文數(shù)據(jù)集共計1,298,672條圖文對上使用4張40GB NVIDIA A100 GPU進行模型訓(xùn)練,。此外，通過從二十余個廣泛使用的多模態(tài)大語言模型評測集中篩選出與火災(zāi)相關(guān)的2000余條高質(zhì)量評測數(shù)據(jù),，在構(gòu)建的火災(zāi)評測集上進行了嚴格測試,，“神機大模型2.0”取得了70.3的準確率，超越了一系列開源的多模態(tài)大模型,。

用戶高效響應(yīng)優(yōu)化：為了改善用戶體驗,，“神機大模型2.0”在響應(yīng)時間上實現(xiàn)了顯著提升，能夠在7秒內(nèi)完成對圖像中火災(zāi)隱患的識別和預(yù)警,，同時支持每分鐘1200次以上的并發(fā)響應(yīng),。團隊特別關(guān)注了交互界面的設(shè)計和響應(yīng)機制的優(yōu)化,，通過內(nèi)置用戶提示簡化火災(zāi)隱患識別操作流程，意味著在緊急情況下用戶能夠更快地獲取到需要的信息和服務(wù),，從而提高應(yīng)急響應(yīng)效率,。

功能展示：圖文交互新體驗

神機大模型2.0現(xiàn)已上線，歡迎訪問神機官網(wǎng)進行體驗shenjiai.cn/chat

火災(zāi)隱患智能預(yù)警：

“神機大模型2.0”具備火災(zāi)隱患識別功能,，能夠快速識別出環(huán)境中的火災(zāi)隱患,。用戶只需上傳圖片，模型便能自動識別出潛在的火災(zāi)風(fēng)險,，為用戶提供智能預(yù)警,。

倉庫火災(zāi)隱患識別

樓道火災(zāi)隱患識別

滅火器械使用教程：

用戶可以通過上傳包含滅火器的圖片或描述具體情境，獲得專業(yè)的使用指南,。無論是在家庭,、學(xué)校還是辦公場所，用戶都能獲得清晰的操作步驟和注意事項,，確保在面對火情時能夠迅速采取正確的行動,，有效控制初期火災(zāi)，保障生命財產(chǎn)安全,。

火災(zāi)科普漫畫解讀：

為了使應(yīng)急知識的學(xué)習(xí)更加生動有趣,，“神機大模型2.0”能進行火災(zāi)科普漫畫解讀功能。用戶可以通過上傳或選擇內(nèi)置的圖文并茂的科普漫畫,，獲得專業(yè)的解讀。這些漫畫涵蓋了從火災(zāi)預(yù)防到逃生技巧的各種知識點,，以直觀的形式傳達復(fù)雜的消防安全信息,，幫助用戶輕松掌握應(yīng)急知識，增強自我保護能力,。

消防疏散指導(dǎo)：

“神機大模型2.0能夠根據(jù)建筑物平面圖或用戶提供的詳細描述,，提供最佳的疏散路徑建議。該功能結(jié)合建筑物結(jié)構(gòu)特點和安全出口位置,，幫助用戶規(guī)劃最安全有效的逃生路線,，大大提高了緊急疏散的效率和安全性。

關(guān)于中山大學(xué)智能工程學(xué)院智能知識工程實驗室
中山大學(xué)沈穎團隊長期致力于自然語言理解與生成,、大語言模型,、知識計算與推理、多模態(tài)學(xué)習(xí),、數(shù)據(jù)挖掘和智能問答系統(tǒng)的研究與應(yīng)用,。沈穎博士，中共黨員,，中山大學(xué)百人引進人才,，副教授,，博士生導(dǎo)師，IEEE Senior Member,，高被引學(xué)者,，入選“全球前2%科學(xué)家榜單”。沈穎于2015年獲法國巴黎第十大學(xué)計算機博士學(xué)位?，F(xiàn)任中山大學(xué)智能工程學(xué)院副教授,。沈穎主要從事人工智能、自然語言處理,、多模態(tài)計算,、大語言模型等理論和應(yīng)用研究工作。于機械工業(yè)出版社出版了64萬字高等院校智能工程系列教材《自然語言處理導(dǎo)論》,。講授的《自然語言處理》課程被評為教育部“智能基座"金課以及中山大學(xué)校級一流課程,，獲中山大學(xué)第十一屆校級本科教育教學(xué)成果獎一等獎，并被納入教育部慕課西行課程,。在知名學(xué)術(shù)會議和期刊上發(fā)表學(xué)術(shù)論文140余篇,，其中SCI期刊50篇，CCFA類會議論文29篇,，CCF B類會議30篇,。其中ESI高被引論文5篇、ESI熱點論文2篇,，多次獲人工智能頂會最佳論文獎,。已授權(quán)專利20余項;授權(quán)軟件著作權(quán)25項;發(fā)布團體標準1項。開發(fā)了首個應(yīng)急多模態(tài)大語言模型神機（shenjiai.cn）,。主持多項國際,、國家、省部級研究項目,，成果在多家單位中落地應(yīng)用,。

通訊員/中神機

責(zé)任編輯/劉秀