5月18日,北京智源研究院發(fā)布了關于國內(nèi)外各類開/閉源語言及多模態(tài)大模型性能評估的最新研究成果。此項研究覆蓋了140余個語言模型的綜合實力對比,包括其對中文文本理解和多模態(tài)圖文問答等任務的處理能力。
研究發(fā)現(xiàn),盡管國內(nèi)頭部語言模型在中文環(huán)境中的整體表現(xiàn)已接近國際一流水平,但仍存在能力發(fā)展不平衡的問題。
在多模態(tài)理解圖文問答任務中,開源和閉源模型表現(xiàn)相當,而國產(chǎn)模型則表現(xiàn)出色。此外,在中文語境下的文生圖能力方面,國產(chǎn)多模態(tài)模型與國際一流水平的差距相對較小。
具體到語言模型的排名,在中文語境下,字節(jié)跳動的豆包Skylark2以及OpenAI的GPT-4分別名列第一和第二。值得注意的是,國產(chǎn)大模型在理解中國用戶需求方面具有明顯優(yōu)勢。
在語言模型客觀評價中,OpenAI的GPT-4和百川智能的Baichuan3分列第一和第二。同時,百度的文心一言4.0、智譜華章的GLM-4以及月之暗面的Kimi也躋身語言模型主客觀評價的前五名。
在多模態(tài)理解模型的客觀評價中,圖文問答方面,阿里巴巴的通義Qwen-vl-max和上海人工智能實驗室的InternVL-Chat-V1.5在某些指標上超越了OpenAI的GPT-4,LLaVA-Next-Yi-34B和上海人工智能實驗室的Intern-XComposer2-VL-7B緊隨其后。
-
開源
+關注
關注
3文章
3407瀏覽量
42713 -
模型
+關注
關注
1文章
3313瀏覽量
49226 -
大模型
+關注
關注
2文章
2549瀏覽量
3169 -
百川智能
+關注
關注
0文章
17瀏覽量
28
發(fā)布評論請先 登錄
相關推薦
百川智能發(fā)布全場景深度思考模型Baichuan-M1-preview
百川智能發(fā)布全場景深度思考模型Baichuan-M1-preview
字節(jié)跳動豆包大模型1.5 Pro發(fā)布
字節(jié)跳動發(fā)布豆包大模型1.5 Pro
浪潮信息與智源研究院攜手共建大模型多元算力生態(tài)
百川智能發(fā)布Baichuan4-Finance金融大模型
百川智能發(fā)布一站式大模型商業(yè)化解決方案
【附實操視頻】聆思CSK6大模型開發(fā)板接入國內(nèi)主流大模型(星火大模型、文心一言、豆包、kimi、智譜glm、通義千問)
智能硬件接入主流大模型做語音交互(附文心一言、豆包、kimi、智譜glm、通義千問示例)
摩爾線程攜手智源研究院完成基于Triton的大模型算子庫適配
大模型廠商“輸血”不斷,百川智能完成50億元A輪融資!

百川智能完成50億元A輪融資
亞馬遜云科技接入百川智能和零一萬物基礎模型
百川智能發(fā)布Baichuan 4大模型及首款AI助手“百小應”
數(shù)勢聯(lián)動百川,發(fā)布首批大模型聯(lián)合解決方案,推動中國大模型價值落地

評論