復(fù)旦MOSS大模型開(kāi)源了！Github和Hugging Face同時(shí)上線(xiàn)
豐色 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
【資料圖】
復(fù)旦大模型MOSS，正式開(kāi)源了！
作為國(guó)內(nèi)首個(gè)開(kāi)放測(cè)試的類(lèi)ChatGPT產(chǎn)品，MOSS開(kāi)源地址一放出，又沖上知乎熱搜：
從官網(wǎng)介紹來(lái)看，MOSS是一個(gè)擁有160億參數(shù)的開(kāi)源對(duì)話(huà)語(yǔ)言模型。
它由約7000億中英文及代碼單詞預(yù)訓(xùn)練得到，精度要求不那么高的話(huà)，甚至可以在單張3090顯卡上運(yùn)行。
MOSS支持中英雙語(yǔ)，擁有多輪對(duì)話(huà)和使用多種插件雙重能力，具備搜索引擎、文生圖、計(jì)算器、方程求解的“技能點(diǎn)”。
目前，MOSS在GitHub上已有2.3k Star，熱度還在持續(xù)上漲中。
那么，MOSS究竟開(kāi)源了哪些項(xiàng)目，目前有哪些功能？一起來(lái)看看。
會(huì)解方程，也能生成圖片
據(jù)了解，這次MOSS開(kāi)源的是第三輪迭代版本，名叫MOSS 003。
當(dāng)然，MOSS 003也并非開(kāi)源了全部模型，目前主要開(kāi)放的是基座預(yù)訓(xùn)練模型，最終模型即將在近期開(kāi)源：
此前，MOSS已經(jīng)經(jīng)歷了兩版迭代，一版是公開(kāi)邀請(qǐng)內(nèi)測(cè)的MOSS 002版本，另一版是內(nèi)部測(cè)試版本OpenChat 001。
三月份大伙兒見(jiàn)證的“國(guó)內(nèi)首個(gè)開(kāi)放測(cè)試的ChatGPT”，正是MOSS 002版本。
最新這個(gè)版本展現(xiàn)的功能效果如何？
MOSS團(tuán)隊(duì)放出了它多輪對(duì)話(huà)、解方程、寫(xiě)代碼、生成圖片和回答道德倫理等示例。
這是多輪對(duì)話(huà)的展示效果，具備資料追根溯源的能力：
這是做數(shù)學(xué)題的示例，包括雞兔同籠問(wèn)題：
也包括生成圖片功能：
還有近期網(wǎng)友熱議的AI道德性問(wèn)題：
當(dāng)然，這波里面也不乏“砸場(chǎng)子”的網(wǎng)友。
例如官方GitHub問(wèn)答中，有網(wǎng)友很想了解它的中文能力和chatglm6b相比誰(shuí)更好，下面有網(wǎng)友調(diào)侃：
你是來(lái)砸場(chǎng)子的么？
這也是因?yàn)榇饲皥F(tuán)隊(duì)在MOSS 002公開(kāi)測(cè)試時(shí)曾經(jīng)表示過(guò)，MOSS的中文能力不算太好，這也與訓(xùn)練數(shù)據(jù)有關(guān)。
除此之外，團(tuán)隊(duì)這次還開(kāi)源了一部分訓(xùn)練數(shù)據(jù)。
至于完整數(shù)據(jù)，復(fù)旦MOSS團(tuán)隊(duì)表示“近期會(huì)全部開(kāi)源”。
國(guó)內(nèi)最先發(fā)布的ChatGPT產(chǎn)品
MOSS取自于《流浪地球》里面那個(gè)擁有自我意識(shí)的AI。
它由復(fù)旦自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬團(tuán)隊(duì)研發(fā)，2月20日正式發(fā)布。
當(dāng)時(shí)國(guó)內(nèi)一眾大廠(chǎng)還在陸續(xù)高調(diào)官宣要造ChatGPT，誰(shuí)都沒(méi)想到它就這么一聲不吭地殺了出來(lái)。
所以盡管MOSS的參數(shù)量比ChatGPT小了一個(gè)量級(jí)，大家還是蜂擁而上，把服務(wù)器都給擠爆了。
而發(fā)布沒(méi)過(guò)一周，復(fù)旦大學(xué)教授邱錫鵬就在演講中提出，如果優(yōu)化順利，計(jì)劃在三月底開(kāi)源MOSS。
因?yàn)樵谒磥?lái)：
人們之所以很容易有“卡脖子”問(wèn)題，是因?yàn)槿狈σ粋€(gè)好的行業(yè)生態(tài)。
就拿ChatGPT來(lái)說(shuō)，OpenAI公司只需專(zhuān)注做好模型，算力、數(shù)據(jù)和系統(tǒng)則交給其他公司。反觀國(guó)內(nèi)，很多公司在做大型語(yǔ)言模型時(shí)所有環(huán)節(jié)都需要自己做，每家的數(shù)據(jù)和算力也有限，結(jié)果是每家都做不大。在發(fā)展過(guò)程中，大型語(yǔ)言模型訓(xùn)練與在線(xiàn)推理成本過(guò)高也是一個(gè)重大問(wèn)題。
因此，他們一開(kāi)始就考慮要把MOSS開(kāi)源而不是商業(yè)化。
有了這樣一個(gè)基座，大家就不用重復(fù)開(kāi)發(fā)底層技術(shù)，可以在上面接不同的細(xì)分領(lǐng)域。
如今，雖晚了快一個(gè)月，MOSS也說(shuō)到做到了。
你試用過(guò)復(fù)旦MOSS開(kāi)源模型了嗎？效果如何？
關(guān)鍵詞：
