微軟打造 13 億參數(shù)小型 LLM AI 模型，號稱實(shí)際效果勝于千億參數(shù) GPT-3.5 熱議
【資料圖】
IT之家 6 月 27 日消息，AI 模型盲堆體積實(shí)際上效果并不見得更好，更多要看訓(xùn)練數(shù)據(jù)的質(zhì)量，微軟日前最近發(fā)布了一款 13 億參數(shù)的語言模型 phi-1，采用“教科書等級”的高品質(zhì)資料集訓(xùn)練而成，據(jù)稱“實(shí)際效果勝于千億參數(shù)的 GPT 3.5”。
IT之家注意到，該模型以 Transformer 架構(gòu)為基礎(chǔ)，微軟團(tuán)隊(duì)使用了包括來自網(wǎng)絡(luò)的“教科書等級”數(shù)據(jù)和以 GPT-3.5 經(jīng)過處理的“邏輯嚴(yán)密的內(nèi)容”，以及 8 個(gè)英偉達(dá) A100 GPU，在短短 4 天內(nèi)完成訓(xùn)練。
微軟團(tuán)隊(duì)表示，比起增加模型的參數(shù)量，通過提高模型的訓(xùn)練數(shù)據(jù)集質(zhì)量，也許更能強(qiáng)化模型的準(zhǔn)確率和效率，于是，他們利用高質(zhì)量數(shù)據(jù)訓(xùn)練出了 phi-1 模型。在測試中，phi-1 的分?jǐn)?shù)達(dá)到 50.6%，比起 1750 億參數(shù)的 GPT-3.5（47%）還要好。
微軟表示，phi-1 接下來會在 HuggingFace 中開源，而這不是微軟第一次開發(fā)小型 LLM，此前，他們打造一款 130 億參數(shù)的 Orca，使用了 GPT-4 合成的數(shù)據(jù)訓(xùn)練而成，表現(xiàn)也同樣比 ChatGPT 更好。
目前關(guān)于 phi-1 的論文已經(jīng)在 arXiv 中發(fā)布，可以在這里找到論文的相關(guān)內(nèi)容。
標(biāo)簽：
