微軟的兩把刷子
昨天的大新聞——Meta開源了Llama 2模型,這或許將對(duì)大型模型公司構(gòu)成了巨大的沖擊,因?yàn)樗軌驖M足許多公司對(duì)于更低成本和個(gè)性化需求的要求。和許多開源大型模型相比,Llama 2有著更強(qiáng)的能力,參數(shù)量包括70億、130億和700億規(guī)模。Llama 2的訓(xùn)練數(shù)據(jù)量提升了40%,上下文長度擴(kuò)展到4000個(gè)字符,對(duì)文本語義理解更強(qiáng),還使用了人類反饋強(qiáng)化學(xué)習(xí)機(jī)制訓(xùn)練了類似ChatGPT的對(duì)話應(yīng)用。當(dāng)然,Llama 2的訓(xùn)練成本也很高,網(wǎng)友估計(jì)超過2500萬美元。