3003
10
0
2023-02-19 01:28:23
2023-02-19
近期,，美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI發(fā)布了一種基于人工智能技術(shù)的自然語(yǔ)言處理模型ChatGPT,，它能夠通過(guò)學(xué)習(xí)和理解人類的語(yǔ)言來(lái)與用戶進(jìn)行交流。由于其功能強(qiáng)大,，智能表現(xiàn)遠(yuǎn)超此前同類產(chǎn)品，成功引發(fā)了破圈效應(yīng)。ChatGPT上線僅5天,，注冊(cè)用戶數(shù)就超過(guò)百萬(wàn)，截至目前,，用戶數(shù)已破億,，給全世界各個(gè)國(guó)家、各行各業(yè)都帶來(lái)了不小沖擊,。針對(duì)這個(gè)全球熱點(diǎn),，智能算法研究中心的老師和同學(xué)們各抒己見(jiàn)，開(kāi)展了一次熱烈的討論,。
Prof. Huang：
ChatGPT實(shí)際上是一個(gè)加了人機(jī)交互的搜索,。與谷歌、百度等搜索引擎相比,，它更強(qiáng)大的地方在于對(duì)自然語(yǔ)言處理的理解,，即快速理解輸入語(yǔ)句的正確語(yǔ)義，準(zhǔn)確知道你真正的意圖,，可以找到更有深度,、更多的內(nèi)容。換句話來(lái)說(shuō),，其實(shí)它并不是在搜索技術(shù)上的進(jìn)步,，而是在自然語(yǔ)言處理上的進(jìn)步,。只要知道你的意圖，就能給你提供對(duì)應(yīng)的信息,。比補(bǔ)全信息更難得的是它能知道你想問(wèn)什么,。今天就請(qǐng)每位同學(xué)圍繞ChatGPT，結(jié)合你們的研究或者你們能想到的后續(xù)改進(jìn),，講一講自己的看法,，然后大家可以進(jìn)行討論。
Zahid：
下面,，我先講一下我對(duì)ChatGPT的一些認(rèn)識(shí)和了解,。我查看了ChatGPT的官網(wǎng)，發(fā)現(xiàn)官網(wǎng)介紹中提到了訓(xùn)練ChatGPT的三個(gè)步驟,，但在這三個(gè)步驟之前還有一個(gè)容易被忽視的前置步驟,，即ChatGPT是在預(yù)訓(xùn)練模型的基礎(chǔ)上訓(xùn)練得到的。預(yù)訓(xùn)練時(shí)使用的大規(guī)模數(shù)據(jù)集是ChatGPT的知識(shí)來(lái)源,，而預(yù)訓(xùn)練之后訓(xùn)練ChatGPT的三個(gè)步驟則是對(duì)ChatGPT的微調(diào),，可以理解為我們?cè)诮虝?huì)ChatGPT如何運(yùn)用前面得到的知識(shí)來(lái)回答問(wèn)題。
雖然目前還沒(méi)有與ChatGPT相關(guān)的論文成果,，但ChatGPT是通過(guò)在InstructGPT基礎(chǔ)上換用更新的GPT模型和數(shù)據(jù)集進(jìn)行訓(xùn)練所得到的,，因此我們也可以從InstructGPT的論文中了解到ChatGPT的微調(diào)過(guò)程。微調(diào)過(guò)程中所使用的問(wèn)答數(shù)據(jù)集可被劃分成很多不同的類別,，如講故事,、日常對(duì)話等，基本覆蓋了常見(jiàn)的問(wèn)答類型,，因此ChatGPT才能在面對(duì)各種類型的提問(wèn)時(shí)對(duì)答如流,。
除了問(wèn)答數(shù)據(jù)，ChatGPT的回答還有一個(gè)重要的影響因素——評(píng)價(jià),。ChatGPT的訓(xùn)練框架是強(qiáng)化學(xué)習(xí),，因此存在一個(gè)模塊對(duì)ChatGPT的回答進(jìn)行評(píng)價(jià)以決定對(duì)它的獎(jiǎng)勵(lì)或懲罰，引導(dǎo)ChatGPT生成評(píng)價(jià)較高的回答,。而這一評(píng)價(jià)模塊是通過(guò)擬合人類對(duì)部分問(wèn)答數(shù)據(jù)的評(píng)價(jià)得到的,，使該模塊可以模擬人類的偏好對(duì)回答進(jìn)行評(píng)分，最終引導(dǎo)ChatGPT生成符合人類偏好的回答,。這一評(píng)價(jià)模塊在ChatGPT中顯得尤為重要,，但我認(rèn)為其訓(xùn)練過(guò)程可能會(huì)存在擬合不準(zhǔn)確和引入偏見(jiàn)的問(wèn)題，這將使得ChatGPT的回答不一定可靠,。
Herbert：
上一個(gè)同學(xué)可能主要是從網(wǎng)絡(luò)結(jié)構(gòu)的角度分享了他的一些看法,。我想從以下兩方面說(shuō)一下我的看法：一是可解釋性問(wèn)題。ChatGPT畢竟是基于深度網(wǎng)絡(luò)的，其實(shí)它的可解釋性不是特別強(qiáng),，如果應(yīng)用到實(shí)際中,，應(yīng)該也會(huì)出現(xiàn)可解釋性弱的問(wèn)題。二是我認(rèn)為ChatGPT在道德和倫理方面可能也存在一些問(wèn)題,。比方說(shuō)有些學(xué)生利用ChatGPT完成作業(yè)，這違背了老師讓學(xué)生通過(guò)寫作業(yè)溫習(xí)知識(shí)的初衷,。此外,，假設(shè)我們問(wèn)ChatGPT對(duì)于自殺的看法，如果它給出一些負(fù)面的回答,，也可能對(duì)整個(gè)國(guó)家或者社會(huì)產(chǎn)生不良的影響,。關(guān)于ChatGPT的改進(jìn)，我個(gè)人認(rèn)為可以從深度學(xué)習(xí)的可解釋性問(wèn)題上做一些研究,，嘗試解決現(xiàn)存的一些弊病,。
William：
我對(duì)ChatGPT的看法和剛才那位同學(xué)差不多，我也是考慮到它所引發(fā)的道德倫理方面的一些問(wèn)題?，F(xiàn)在已經(jīng)有人用ChatGPT寫論文,，甚至把它當(dāng)作論文作者。目前國(guó)際機(jī)器學(xué)習(xí)大會(huì)（International Conference on Machine Learning, ICML）等會(huì)議以及一些期刊已經(jīng)禁止使用這種大型預(yù)訓(xùn)練模型來(lái)輔助寫論文,。ChatGPT無(wú)疑是人類科技發(fā)展史上一個(gè)比較強(qiáng)大的模型,，但是它對(duì)倫理道德的挑戰(zhàn)也是不容忽視的。
我認(rèn)為可以從以下兩方面對(duì)ChatGPT進(jìn)行改進(jìn)：首先,，可以改進(jìn)ChatGPT所使用的神經(jīng)網(wǎng)絡(luò)模型?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型很難加入規(guī)則性的內(nèi)容，不像“機(jī)器人三原則”這樣的內(nèi)容可以在程序里寫定,。正如上一位同學(xué)所說(shuō)的,，當(dāng)前的神經(jīng)網(wǎng)絡(luò)幾乎沒(méi)有可解釋性，很難將規(guī)則性的內(nèi)容加入其中,，因此ChatGPT如何應(yīng)對(duì)倫理道德上的挑戰(zhàn)是一個(gè)很大的問(wèn)題,。其次，我們不得不考慮ChatGPT可能對(duì)社會(huì)造成的影響?，F(xiàn)在ChatGPT 給人們一種人工智能可以從各方面取代人工的危機(jī)感,。未來(lái)可能出現(xiàn)ChatGPT2、ChatGPT3等更加強(qiáng)大的模型,，可以自己進(jìn)行算法設(shè)計(jì)和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì),，甚至對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行可解釋性分析，從而取代人工智能科學(xué)家,，這也是我們可能面臨的人工智能危機(jī),。
Conley：
在我看來(lái)，ChatGPT更像是一個(gè)知識(shí)表示編碼和存儲(chǔ)的大型機(jī)器,。ChatGPT的創(chuàng)新很大程度上是工程層面的,，而不是學(xué)術(shù)層面的,。從知識(shí)的編碼表示和存儲(chǔ)上看，ChatGPT并沒(méi)有做出太大貢獻(xiàn),，它主要是把一些不同的模型,、訓(xùn)練策略以及數(shù)據(jù)獲取的手段整合到一起，最后形成一個(gè)通用的大型模型,。
此外,，我認(rèn)為ChatGPT的成功也離不開(kāi)其背后公司的宣傳和推廣。之前可能有一些研究所,、學(xué)?；蛘吖咀隽斯δ茴愃艭hatGPT的軟件平臺(tái)，但沒(méi)有進(jìn)行很好的宣傳,，功能上可能也不如ChatGPT強(qiáng)大,，所以沒(méi)有出圈。
在我們?nèi)祟悓?duì)話過(guò)程中,，獲取知識(shí)的過(guò)程不是平面的,，而是立體的。比方說(shuō)我跟你展開(kāi)一個(gè)關(guān)于數(shù)學(xué)的討論,，我可能會(huì)從中聯(lián)想到物理,、化學(xué)、政治等其他學(xué)科的知識(shí),，甚至生活中的一些常識(shí)和變化,。也就是說(shuō)，我跟你在某個(gè)學(xué)科或者專業(yè)領(lǐng)域上的討論可能會(huì)同時(shí)推動(dòng)我在其他方面的一些進(jìn)步,。但是ChatGPT是用已有的一些模型去做知識(shí)表示的,，我覺(jué)得可以嘗試用圖學(xué)習(xí)、因果學(xué)習(xí)等方式幫助ChatGPT建立更豐富,、更高效的知識(shí)表示體系,。目前對(duì)這種大模型的訓(xùn)練還是比較費(fèi)時(shí)費(fèi)力的，如果能夠在知識(shí)表示和編碼方面提高效率,，或許可以促進(jìn)大模型訓(xùn)練方式的改進(jìn),，節(jié)省時(shí)間和算力資源。
另外,，我查閱資料時(shí)發(fā)現(xiàn),，ChatGPT不光被運(yùn)用在人機(jī)對(duì)話和問(wèn)答方面，還被很多人用在編碼和Debug上,，而且在這方面表現(xiàn)突出,。我認(rèn)為ChatGPT對(duì)程序的理解和對(duì)日常對(duì)話的理解應(yīng)該是不太一樣的，我不太清楚這種理解上的差異是在學(xué)術(shù)上做了一些創(chuàng)新，還是在工程上做了一些突破,，目前還沒(méi)有查到相關(guān)資料,，這是值得關(guān)注的。
Jane：
我也是從系統(tǒng)的角度來(lái)考慮的,。我在資料上看到ChatGPT可以在一定程度上幫助開(kāi)發(fā)者進(jìn)行需求分解和設(shè)計(jì)決策,，這和我的研究緊密相關(guān)。于是,，我直接試用了一下ChatGPT,，請(qǐng)它根據(jù)一段需求文本繪制一個(gè)活動(dòng)圖，結(jié)果是它會(huì)返回一個(gè)圖片的URL地址,，但是這個(gè)圖片是不能顯示的。我推測(cè)這并不是ChatGPT通過(guò)提取需求文本中的信息繪制的圖片,，而是根據(jù)它學(xué)習(xí)到的內(nèi)容給出了一個(gè)與活動(dòng)圖相關(guān)的圖片名稱,。ChatGPT是基于數(shù)據(jù)驅(qū)動(dòng)的，但它可能并不具備真正的對(duì)復(fù)雜問(wèn)題的推理能力,。換句話說(shuō),，ChatGPT具備廣泛的知識(shí)面，能夠很好地回答一些網(wǎng)上能搜索到答案的問(wèn)題,，但是并不能真正理解一些算數(shù)、算法等邏輯問(wèn)題。比方說(shuō),，如果你想讓ChatGPT計(jì)算進(jìn)行四則運(yùn)算,，那么它可以給出正確的結(jié)果；但是如果你想讓它求解一道你出的小學(xué)數(shù)學(xué)相遇問(wèn)題或者追及問(wèn)題,，那它就只能反饋給你一些通用的解法描述,，還可能存在邏輯混亂的問(wèn)題，更不用說(shuō)幫你計(jì)算出正確答案了,。這是我認(rèn)為ChatGPT存在的最大缺陷和可以改進(jìn)的地方,。
Lawrence：
我也從工程和實(shí)驗(yàn)兩方面講講我的看法。在工程上,，由于先驗(yàn)數(shù)據(jù)中可能包含一些噪聲,，有些自然語(yǔ)言處理相關(guān)的模型可能會(huì)被“教壞”，在測(cè)試數(shù)據(jù)上的表現(xiàn)不如在訓(xùn)練數(shù)據(jù)上的表現(xiàn),，在對(duì)話中給出的回答不一定正確,。如何去糾正這些錯(cuò)誤，可能是在工程上可以去探索的一個(gè)問(wèn)題,。另外,，在做實(shí)驗(yàn)時(shí)，我建議考慮以下兩點(diǎn)：第一，如何獲取訓(xùn)練用的數(shù)據(jù)集,；第二,，需要評(píng)估算力，比如訓(xùn)練一個(gè)模型所需要的時(shí)長(zhǎng),，做好時(shí)間規(guī)劃,。
Mike：
我想分享一下關(guān)于ChatGPT版權(quán)方面的一些觀點(diǎn)。之前AI繪畫被批評(píng)就是因?yàn)槠渌褂玫挠?xùn)練圖片都是其他畫手有版權(quán)的作品,。其實(shí)文字也一樣有版權(quán),。比方說(shuō)，很多人在網(wǎng)上發(fā)布博客,、文章等內(nèi)容,，如果其中使用了他人的內(nèi)容，一般都會(huì)標(biāo)注引用來(lái)源,。由于神經(jīng)網(wǎng)絡(luò)的可解釋性差,，ChatGPT回答問(wèn)題時(shí)使用的語(yǔ)句來(lái)源不明，我們難以說(shuō)清楚它是否具有版權(quán),，在商用的情況下是否會(huì)引發(fā)侵權(quán)問(wèn)題,。所以，我覺(jué)得機(jī)器學(xué)習(xí)的可解釋性可能不僅僅是一個(gè)錦上添花的東西,，在一些版權(quán)相關(guān)或者對(duì)可靠性要求較高的應(yīng)用上是十分必要的,。我們需要明確AI所輸出答案的來(lái)源和原因。
Zahid：
我除了從網(wǎng)絡(luò)結(jié)構(gòu)分析ChatGPT,，還做了一些小測(cè)試和小實(shí)驗(yàn),。我發(fā)現(xiàn)ChatGPT在回答問(wèn)題時(shí)結(jié)合了上下文信息，后面輪次的對(duì)話會(huì)跟前面的對(duì)話相關(guān),。此外,，ChatGPT有時(shí)候是類似指令驅(qū)動(dòng)的，我問(wèn)什么,，它就答什么,。比方說(shuō)，我嘗試請(qǐng)它跟我下五子棋,，它的回答是“可以”,，然后就沒(méi)有下文了，也沒(méi)有任何提示,。我假設(shè)存在一個(gè)棋盤網(wǎng)格,，我接著輸入一個(gè)坐標(biāo)，說(shuō)“我下好了”,，它可能說(shuō)“好,，你下在這里,，接下來(lái)該下一個(gè)人了”，然后又沒(méi)有下文了,。我說(shuō)“該你下了”,，它才可能會(huì)回應(yīng)我一個(gè)下棋位置的坐標(biāo)。我感覺(jué)它并沒(méi)有真正理解自己接下來(lái)應(yīng)該做什么,。
不知道屏幕前的你對(duì)ChatGPT了解多少,？歡迎將你的獨(dú)到見(jiàn)解發(fā)布到評(píng)論區(qū)，跟我們一起討論,！
總編：黃翰
責(zé)任編輯：袁中錦
文字：智能算法研究中心成員
圖片：袁中錦
校稿：何莉怡
時(shí)間：2023年2月9日
