国产v亚洲v天堂无码久久无码_久久久久综合精品福利啪啪_美女扒开尿口让男人桶_国产福利第一视频在线播放_滨崎步无码AⅤ一区二区三区_三年片免费观看了_大屁股妇女流出白浆_泷川苏菲亚无码AV_我想看我想看一级男同乱伦_国产精品午夜福利免费视频,gogo国模全球大胆高清摄影图,2008门艳照全集视频,欧美午夜在线精品品亚洲AV中文无码乱人伦在线播放

曹原教授訪問實驗室并做精彩報告
來源: 高峰/
中國海洋大學
2899
2
0
2023-09-13

2023年7月19日,,香港大學曹原教授訪問中國海洋大學人工智能研究院,,在信息南樓A321做了題為 ”Understanding the Role of Training Algorithms in Over-Parameterized Learning: Insights from Case Studies” 的報告,。

現(xiàn)代機器學習模型(比如大規(guī)模語言模型)通常包含大量參數(shù),。對于這種過參數(shù)化的模型,訓練損失函數(shù)可能存在無限多個最小化者,,不同的訓練算法可能會收斂到不同的解,。雖然這些解都可能在訓練時產(chǎn)生零誤差,但它們的預測誤差可能截然不同,。因此,,要理解大型機器學習模型,必須理解訓練算法對預測誤差的影響,。曹老師首先對隨機梯度下降和Adam優(yōu)化算法之間的泛化差距進行理論解釋,。證明了對于某些學習問題,梯度下降可以訓練一個兩層卷積神經(jīng)網(wǎng)絡以獲得接近零的測試誤差,,而Adam算法只能達到常數(shù)級別的測試誤差,。

同時,曹老師還展示批歸一化(BN)的“隱式偏差”結果,。證明了當使用批歸一化進行二分類問題的線性模型學習時,,梯度下降會收斂到在訓練數(shù)據(jù)上的“均勻邊界分類器”。這個結果還可以擴展到一類簡單的線性CNN,。

到場的同學和老師們對這一領域和這幾篇工作興味盎然,,紛紛提問和交流,講座在熱烈的討論中結束,。


登錄用戶可以查看和發(fā)表評論,, 請前往  登錄 或  注冊
SCHOLAT.com 學者網(wǎng)
免責聲明 | 關于我們 | 聯(lián)系我們
聯(lián)系我們: