在小公司做大模型，這個(gè)事情是可以的。

筆者在小公司，做了一年多的大模型。先列一下成績(jī)單：

開源了目前業(yè)界可能是分類較完整（50類）、數(shù)量較大（1100+萬）的SFT數(shù)據(jù)集：匠數(shù)科技大模型sft數(shù)據(jù)集[1]

通過SFT、DPO、RLHF等技術(shù)訓(xùn)練了領(lǐng)域?qū)懽髂Ｐ汀?shí)測(cè)下來，在該領(lǐng)域?qū)懽魃希瑥?qiáng)于國(guó)內(nèi)大多數(shù)的閉源模型。

如何在小公司做大模型，筆者總結(jié)，有如下幾點(diǎn)：

1、至少要有基礎(chǔ)的硬件條件。

如果雙卡3090都沒有，那是比較難的。實(shí)在沒有，可以說服老板，租機(jī)器訓(xùn)練。

2、要有選擇跟進(jìn)模型訓(xùn)練、部署的最新進(jìn)展，選主流、走大道。

技術(shù)迭代太快，人力有限的情況下，不可能什么都跟進(jìn)的。比如部署，市面上的部署方案很多了，但是主流的就是vllm，所以，集中精力將vllm搞懂用好，就夠了，其他的可以了解，但不用重點(diǎn)關(guān)注。

再比如各種訓(xùn)練技術(shù)，經(jīng)過驗(yàn)證好用的也就是那么幾個(gè)。看起來過于旁門左道的論文，可以先放放，讓子彈飛一會(huì)兒再說。提一點(diǎn)，DPO確實(shí)是小公司對(duì)齊訓(xùn)練的福音。

3、要堅(jiān)持開放交流，多加群。

圍繞llm，有很多社群，也有很多活動(dòng)，可以選擇性參加，但是切記切記，不要過分沉溺其中，以為這樣就能緊跟時(shí)代前沿，掌握最新趨勢(shì)了。假裝學(xué)到很多，是很有害滴。記得前段時(shí)間不是有個(gè)什么架構(gòu)，號(hào)稱取代transformer嗎？鋪天蓋地的宣傳，筆者當(dāng)時(shí)也聽了作者的線上分享。現(xiàn)在呢？自己連個(gè)像樣的模型都沒搞出來。純純浪費(fèi)太多精力。相信時(shí)間會(huì)證明一切。

4、要針對(duì)業(yè)務(wù)場(chǎng)景解決問題，不要陷入llm崇拜。

這種現(xiàn)象典型的就是不是llm的工作就提不起神，不想做。實(shí)話實(shí)說，這是病，得治。筆者根據(jù)業(yè)務(wù)問題需求，開源的cutword[2]，就是為了替代jieba的新一代分詞工具，同時(shí)，ner類型和效果都是目前開源中一流的，也收獲了大家的認(rèn)可。

解決問題才是關(guān)鍵。不能有了llm這個(gè)錘子，看什么都是釘子。具體問題具體分析的能力很重要。

審核編輯：黃飛