AI創(chuàng)業(yè)公司MosaicML近日發(fā)布了其70億參數(shù)模型MPT-7B-8K，據(jù)悉，該模型一次可以處理8000字文本，相當(dāng)擅長(zhǎng)處理長(zhǎng)文重點(diǎn)摘要和問(wèn)答，還能在MosaicML平臺(tái)上根據(jù)特定任務(wù)，進(jìn)一步微調(diào)相關(guān)配置。
▲圖源Huggingface
▲圖源Huggingface
據(jù)悉，系列模型采用了150萬(wàn)個(gè)Token，并以256塊H100 GPU花3天完成模型訓(xùn)練而成。MosaicML本次發(fā)布了3個(gè)版本模型，包括MPT-7B-8k、MPT-7B-8k-Instruct和MPT-7B-8k-Chat。
其中，第一個(gè)版本MPT-7B-8k、是以Transformer解碼器為基礎(chǔ)，并以FlashAttention和FasterTransformer機(jī)制來(lái)加速訓(xùn)練與推論，能一次處理8000字文本，MosaicML公司表示，該模型開(kāi)源、允許商用。
第二個(gè)版本MPT-7B-8k-Instruct是以第一個(gè)版本MPT-7B-8k微調(diào)而成，MosaicML公司表示，MPT-7B-8k-Instruct模型可處理長(zhǎng)篇指令，特別注重于生成“摘要和問(wèn)答”，該模型一樣開(kāi)源且可商用。
第三個(gè)版本MPT-7B-8k-Chat則是機(jī)器人對(duì)話(huà)式的AI模型，MosaicML公司宣稱(chēng)，該模型額外多用了15億個(gè)聊天數(shù)據(jù)Token，在第一版模型MPT-7B-8k之上繼續(xù)訓(xùn)練而成，該模型開(kāi)源，但不允許商用。
IT之家此前報(bào)道，MosaicML公司也推出了一款號(hào)稱(chēng)訓(xùn)練成本僅為競(jìng)品零頭的MPT-30B開(kāi)源模型，該公司日前已將所有開(kāi)源模型發(fā)布于Huggingface平臺(tái)，感興趣的小伙伴們可以前往進(jìn)行相關(guān)了解，還可以在本地硬件上使用自己的數(shù)據(jù)，在下載后，對(duì)模型進(jìn)行各種微調(diào)。