谷歌(GOOG)新AI大語(yǔ)言模型PaLM2訓(xùn)練數(shù)據(jù)量達(dá)3.6萬億個(gè)token 為前一代5倍
摘要: 谷歌(GOOG)日前發(fā)布最新通用大語(yǔ)言模型PaLM2。據(jù)CNBC獲取的一份內(nèi)部文件顯示,該模型采用3.6萬億個(gè)token數(shù)據(jù)進(jìn)行訓(xùn)練。至于去年發(fā)布的前一版本PaLM,
谷歌(GOOG)日前發(fā)布最新通用大語(yǔ)言模型PaLM2。據(jù)CNBC獲取的一份內(nèi)部文件顯示,該模型采用3.6萬億個(gè)token數(shù)據(jù)進(jìn)行訓(xùn)練。至于去年發(fā)布的前一版本PaLM,當(dāng)時(shí)其訓(xùn)練數(shù)據(jù)約7800億個(gè)token,是最新一代的1/5左右。
PaLM






