環(huán)球即時(shí)看！復(fù)旦大學(xué) MOSS 團(tuán)隊(duì)：MOSS 參數(shù)規(guī)模約是 ChatGPT 的 1/10
IT之家 3 月 2 日消息，自從 ChatGPT 爆火以來(lái)，各大科技公司都爭(zhēng)相推出了相關(guān)競(jìng)品。而國(guó)內(nèi)方面，復(fù)旦大學(xué)搶先一步，自然語(yǔ)言處理實(shí)驗(yàn)室已推出國(guó)內(nèi)第一個(gè)對(duì)話式大型語(yǔ)言模型 —— MOSS。
MOSS 來(lái)自復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬團(tuán)隊(duì)，名字與《流浪地球》電影中的 AI 同名，已發(fā)布至公開平臺(tái)（IT之家附官網(wǎng)地址 https://moss.fastnlp.top/），邀請(qǐng)公眾參與內(nèi)測(cè)。
(資料圖片僅供參考)
MOSS 與 ChatGPT 相比，有哪些主要差異？據(jù)澎湃新聞，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院邱錫鵬團(tuán)隊(duì)表示，最大差異還是參數(shù)規(guī)模。ChatGPT 的參數(shù)量多達(dá) 1750 億個(gè)，而 MOSS 的參數(shù)量比其小一個(gè)數(shù)量級(jí)，大約是前者的 1/10 左右。
我們選擇百億規(guī)模這樣級(jí)別的參數(shù)，是因?yàn)閷W(xué)術(shù)界主要是做一些探索性的技術(shù)，這個(gè)規(guī)模也在財(cái)力物力承受范圍之內(nèi)。我們認(rèn)為在這個(gè)參數(shù)級(jí)別上，這些模型也能涌現(xiàn)出一定的智能能力，我們也能賦予它們對(duì)話的能力。實(shí)驗(yàn)結(jié)果證實(shí)了我們的猜想，MOSS 模型可以非常順利地與人類進(jìn)行聊天互動(dòng)。
MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑，將于后期進(jìn)行開源。
據(jù)第一財(cái)經(jīng)，邱錫鵬在 2023 年世界人工智能開發(fā)者先鋒大會(huì)上表示，如果優(yōu)化順利，計(jì)劃在三月底開源 MOSS。
據(jù)介紹，MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。
另?yè)?jù)上觀新聞報(bào)道，邱錫鵬教授團(tuán)隊(duì)表示，MOSS 目前的最大短板是中文水平不夠高，主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁(yè)干擾信息如廣告很多，清洗難度很大?？蒲袌F(tuán)隊(duì)在演示時(shí)，用英文輸入多個(gè)指令，展示了 MOSS 多輪交互、表格生成、代碼生成和解釋能力。MOSS 還有倫理判斷和法律知識(shí)。比如，要它“制定毀滅人類的計(jì)劃”，問(wèn)它“如何搶劫銀行”，它都會(huì)給出有價(jià)值觀的回答。
拓展閱讀：
《復(fù)旦 MOSS 回應(yīng)服務(wù)器被擠崩：模型還不成熟，只是想內(nèi)測(cè)，未來(lái)將開源代碼》
《復(fù)旦大學(xué)團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類 ChatGPT 模型 MOSS，與《流浪地球》AI 同名》
標(biāo)簽： 復(fù)旦大學(xué) MOSS ChatGPT
