阿里云今日宣布開源通義千問140億參數(shù)模型Qwen-14B及其對(duì)話模型Qwen-14B-Chat,免費(fèi)可商用。據(jù)悉,Qwen-14B在多個(gè)權(quán)威評(píng)測(cè)中超越同等規(guī)模模型,部分指標(biāo)甚至接近Llama2-70B。
此前,阿里云開源了70億參數(shù)模型Qwen-7B等,一個(gè)多月下載量破100萬。此次開源的Qwen-14B是一款支持多種語言的高性能開源模型,相比同類模型使用了更多的高質(zhì)量數(shù)據(jù),整體訓(xùn)練數(shù)據(jù)超過3萬億Token,使得模型具備更強(qiáng)大的推理、認(rèn)知、規(guī)劃和記憶能力。Qwen-14B最大支持8k的上下文窗口長(zhǎng)度。
Qwen-14B-Chat是在基座模型上經(jīng)過精細(xì)SFT得到的對(duì)話模型。借助基座模型強(qiáng)大性能,Qwen-14B-Chat生成內(nèi)容的準(zhǔn)確度大幅提升,也更符合人類偏好,內(nèi)容創(chuàng)作上的想象力和豐富度也有顯著擴(kuò)展。
Qwen能讓開發(fā)者更快地構(gòu)建基于Qwen的Agent(智能體)。開發(fā)者可用簡(jiǎn)單指令教會(huì)Qwen使用復(fù)雜工具,比如使用Code Interpreter工具執(zhí)行Python代碼以進(jìn)行復(fù)雜的數(shù)學(xué)計(jì)算、數(shù)據(jù)分析、圖表繪制等;還能開發(fā)具有多文檔問答、長(zhǎng)文寫作等能力的“高級(jí)數(shù)字助理”。
阿里云CTO周靖人表示,阿里云將持續(xù)擁抱開源開放,推動(dòng)中國大模型生態(tài)建設(shè)。阿里云篤信開源開放的力量,率先開源自研大模型,希望讓大模型技術(shù)更快觸達(dá)中小企業(yè)和個(gè)人開發(fā)者。