北大聯(lián)合360發(fā)布蒸餾新模型,！

5%參數(shù)量逼近Deepseek-R1滿血性能！

2025年2月24日——由360與北京大學(xué)聯(lián)合研發(fā)的中等量級(jí)推理模型Tiny-R1-32B-Preview正式亮相,，僅以5%參數(shù),，逼近Deepseek-R1-671B滿血性能！

團(tuán)隊(duì)人員：

360 團(tuán)隊(duì): Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang

北大團(tuán)隊(duì): Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang

• 模型參數(shù)

• 核心突破：小模型,，大能量

•  數(shù)學(xué)領(lǐng)域：以78.1分（AIME 2024評(píng)測(cè)）逼近原版R1模型（79.8分）,，遠(yuǎn)超Deepseek-R1-Distill-Llama-70B（70.0分）；
•  綜合性能：在編程（LiveCodeBench 61.6分）,、科學(xué)（GPQA-Diamond 65.0分）領(lǐng)域全面領(lǐng)先最佳開(kāi)源70B模型Deepseek-R1-Distill-Llama-70B,；
• 效率躍遷：僅需5%參數(shù)量，性能達(dá)原版R1的95%以上,，推理成本大幅降低,。

• 技術(shù)革新：領(lǐng)域?qū)＞?模型融合

研究團(tuán)隊(duì)使用「分治-融合」策略：

•  基于DeepSeek-R1生成海量領(lǐng)域數(shù)據(jù)，分別訓(xùn)練數(shù)學(xué),、編程,、科學(xué)三大垂直模型；  
• 通過(guò)Arcee團(tuán)隊(duì)Mergekit工具智能融合,，突破單一模型性能上限,，實(shí)現(xiàn)多任務(wù)均衡優(yōu)化。  

• 開(kāi)源承諾：推動(dòng)技術(shù)普惠

• 模型倉(cāng)庫(kù)：https://huggingface.co/qihoo360/TinyR1-32B-Preview
• 即將公開(kāi)完整技術(shù)報(bào)告,、訓(xùn)練代碼及部分?jǐn)?shù)據(jù)集,；  
•  踐行開(kāi)源精神，助力AI社區(qū)共筑高效推理新生態(tài),。

研發(fā)團(tuán)隊(duì)表示：Tiny-R1-32B-Preview是蒸餾技術(shù)的里程碑,，未來(lái)將持續(xù)探索更輕量、更強(qiáng)大的通用模型,，推動(dòng)AI技術(shù)普惠化進(jìn)程,。

實(shí)驗(yàn)室簡(jiǎn)介

北京大學(xué)數(shù)據(jù)與智能實(shí)驗(yàn)室（Data And Intelligence Research Lab at Peking Univeristy，PKU-DAIR實(shí)驗(yàn)室）由北京大學(xué)計(jì)算機(jī)學(xué)院崔斌教授領(lǐng)導(dǎo),，長(zhǎng)期從事數(shù)據(jù)庫(kù)系統(tǒng),、大數(shù)據(jù)管理與分析,、人工智能等領(lǐng)域的前沿研究,，在理論和技術(shù)創(chuàng)新以及系統(tǒng)研發(fā)上取得多項(xiàng)成果,，已在國(guó)際頂級(jí)學(xué)術(shù)會(huì)議和期刊發(fā)表學(xué)術(shù)論文200余篇，發(fā)布多個(gè)開(kāi)源項(xiàng)目,。課題組同學(xué)曾數(shù)十次獲得包括CCF優(yōu)博,、ACM中國(guó)優(yōu)博、北大優(yōu)博,、微軟學(xué)者,、蘋(píng)果獎(jiǎng)學(xué)金、谷歌獎(jiǎng)學(xué)金等榮譽(yù),。PKU-DAIR實(shí)驗(yàn)室持續(xù)與工業(yè)界展開(kāi)卓有成效的合作,，與騰訊、阿里巴巴,、蘋(píng)果,、微軟、百度,、快手,、中興通訊等多家知名企業(yè)開(kāi)展項(xiàng)目合作和前沿探索，解決實(shí)際問(wèn)題,，進(jìn)行科研成果的轉(zhuǎn)化落地,。