阿里云更新技術(shù)博客：重磅發(fā)布全球性能最強(qiáng)的開(kāi)源模型Qwen2-72B。據(jù)介紹，該模型性能超過(guò)美國(guó)最強(qiáng)的開(kāi)源模型Llama3-70B，也超過(guò)文心4.0、豆包pro、混元pro等眾多中國(guó)閉源大模型。所有人均可在魔搭社區(qū)和Hugging Face免費(fèi)下載通義千問(wèn)最新開(kāi)源模型。
相比2月推出的通義千問(wèn)Qwen1.5，Qwen2實(shí)現(xiàn)了整體性能提升，代碼、數(shù)學(xué)、推理、指令遵循、多語(yǔ)言理解等能力大幅提升。在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國(guó)際權(quán)威測(cè)評(píng)中，Qwen2-72B斬獲十幾項(xiàng)世界冠軍，超過(guò)美國(guó)的Llama3。
據(jù)介紹，Qwen2系列包含5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B為混合專(zhuān)家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分組查詢(xún)注意力）機(jī)制，以便讓用戶(hù)體驗(yàn)到GQA帶來(lái)的推理加速和顯存占用降低的優(yōu)勢(shì)。
據(jù)悉，通義千問(wèn)Qwen系列模型正在全球爆火，總下載量一個(gè)月內(nèi)翻了一倍，已突破1600萬(wàn)次。全球開(kāi)源社區(qū)已經(jīng)出現(xiàn)了超過(guò)1500款基于Qwen二次開(kāi)發(fā)的模型。Qwen系列的72B、110B模型多次登頂HuggingFace 的Open LLM Leaderboard開(kāi)源模型榜單。
