騰訊混元大模型升級(jí) 文生圖片和代碼能力提升
摘要: (原標(biāo)題:騰訊混元大模型升級(jí)文生圖片和代碼能力提升)10月26日,騰訊宣布混元大模型升級(jí),正式對(duì)外開放“文生圖”功能,展示了其在圖像自動(dòng)生成領(lǐng)域的領(lǐng)先能力。升級(jí)后的騰訊混元中文能力整體超過GPT3.5
?。ㄔ瓨?biāo)題:騰訊混元大模型升級(jí) 文生圖片和代碼能力提升)

10月26日,騰訊宣布混元大模型升級(jí),正式對(duì)外開放“文生圖”功能,展示了其在圖像自動(dòng)生成領(lǐng)域的領(lǐng)先能力。升級(jí)后的騰訊混元中文能力整體超過GPT3.5,代碼能力大幅提升20%,達(dá)到業(yè)界領(lǐng)先水平。
騰訊對(duì)外展示了混元大模型圖片生成能力,在語義理解、內(nèi)容合理和畫面質(zhì)感方面,都做了改善。另外,大模型也用來幫助騰訊內(nèi)部員工提高效率,減少工作量,用來編寫代碼。騰訊多個(gè)工作平臺(tái)已經(jīng)接入大模型。
據(jù)介紹,騰訊混元大模型正在不斷強(qiáng)化圖片、視頻、音頻等各類模態(tài)的處理能力,相關(guān)成果也將很快面向外界推出。
文生圖
文生圖是AIGC領(lǐng)域的核心技術(shù)之一,對(duì)模型算法、訓(xùn)練平臺(tái)、算力設(shè)施有較高要求。騰訊最早在廣告場(chǎng)景進(jìn)行AI自動(dòng)生成圖像的探索,相比其他大模型,騰訊混元的文生圖應(yīng)用,在人像真實(shí)感、場(chǎng)景真實(shí)感上有比較明顯的優(yōu)勢(shì),同時(shí),在中國(guó)風(fēng)景、動(dòng)漫游戲等場(chǎng)景等生成上有較好的表現(xiàn)。
在人臉畫像方面,輸入提示詞“生成可愛的亞洲4歲女孩穿著棉質(zhì)連衣裙,大眼睛,古代中國(guó),攝影風(fēng)格,漢服”,騰訊混元大模型生成如下:
騰訊認(rèn)為,大模型很好的理解了“棉質(zhì)連衣裙”、“漢服”等內(nèi)容,同時(shí)在風(fēng)格上,也通過建筑和風(fēng)景等襯托,很好的展示了“古代中國(guó)”的風(fēng)格要求。
此外,輸入提示詞“一個(gè)城市CBD辦公樓,現(xiàn)代化設(shè)計(jì),高層建筑,玻璃幕墻,近景拍攝,攝影風(fēng)格,攝影照片”,騰訊混元大模型也交出了比較好的作品。
大模型文生圖的難點(diǎn)體現(xiàn)在對(duì)提示詞的語義理解、生成內(nèi)容的合理性以及生成圖片的效果。針對(duì)這三個(gè)技術(shù)難點(diǎn),騰訊進(jìn)行了專項(xiàng)的技術(shù)研究,提出了一系列原創(chuàng)算法,來保證生成圖片的可用性和畫質(zhì)。
在語義理解方面,騰訊混元采用了中英文雙語細(xì)粒度的模型。模型同時(shí)建模中英文實(shí)現(xiàn)雙語理解,并通過優(yōu)化算法提升了模型對(duì)細(xì)節(jié)的感知能力與生成效果,避免多文化差異下的理解錯(cuò)誤。
在內(nèi)容合理性方面,AI生成人體結(jié)構(gòu)和手部經(jīng)常容易變形?;煸纳鷪D通過增強(qiáng)算法模型的圖像二維空間位置感知能力,并將人體骨架和人手結(jié)構(gòu)等先驗(yàn)信息引入到生成過程中,讓生成的圖像結(jié)構(gòu)更合理,減少錯(cuò)誤率。
在畫面質(zhì)感方面,混元文生圖基于多模型融合的方法,提升生成質(zhì)感。經(jīng)過模型算法的優(yōu)化之后,混元文生圖的人像模型,包含發(fā)絲、皺紋等細(xì)節(jié)的效果提升了30%,場(chǎng)景模型,包含草木、波紋等細(xì)節(jié)的效果提升了25%。
目前該功能已經(jīng)被用于素材創(chuàng)作、商品合成、游戲出圖等多項(xiàng)業(yè)務(wù)中,在廣告業(yè)務(wù)下的多輪測(cè)評(píng)中,騰訊混元文生圖的案例優(yōu)秀率和廣告主采納率分別達(dá)到86%和26%,均高于同類模型。
寫代碼
過去一個(gè)月,騰訊混元大模型代碼、數(shù)學(xué)能力大幅提升。經(jīng)過對(duì)32種主流語言代碼文件、各類計(jì)算機(jī)書籍和博客的學(xué)習(xí)增訓(xùn),騰訊混元代碼處理水平提升超過20%,代碼處理效果勝出ChatGPT6.34%,在HumanEval公開測(cè)試集指標(biāo)上全面超過Starcoder、Codellama等業(yè)界頭部開源代碼大模型。
只需輸入簡(jiǎn)單的指令如“幫我用前端語言實(shí)現(xiàn)一個(gè)貪吃蛇”,騰訊混元便能自動(dòng)生成可運(yùn)行的代碼,快速制作出一個(gè)貪吃蛇小游戲。此外,騰訊混元還支持Python、C++、Java、Javascript等多種語言的指令生成,比如輸入“用Python畫紅色的心形線”,騰訊混元會(huì)提供代碼庫(kù)選擇、安裝命令、繪制代碼等具體操作步驟的指引。
騰訊內(nèi)部目前已經(jīng)有多個(gè)開發(fā)平臺(tái)接入了騰訊混元大模型,工程師們可以使用騰訊混元來進(jìn)行代碼生成、代碼補(bǔ)全、代碼漏洞檢測(cè)和修復(fù)、表格數(shù)據(jù)處理、數(shù)據(jù)庫(kù)查詢等工作。
比如,在IDE編程場(chǎng)景中,騰訊工蜂Copilot通過接入混元大模型,可根據(jù)注釋生成對(duì)應(yīng)代碼,或基于上下文智能補(bǔ)全代碼,大大提高了編程效率?;煸竽P瓦€可以幫助用戶進(jìn)行代碼漏洞檢測(cè)和修復(fù),保障軟件開發(fā)過程中的安全性。
騰訊混元大模型持續(xù)升級(jí)背后,有騰訊自研一站式機(jī)器學(xué)習(xí)平臺(tái)Angel的支撐。AngelPTM訓(xùn)練框架可提供高效的分布式訓(xùn)練解決方案,訓(xùn)練速度相比業(yè)界主流框架提升1倍;自研AngelHCF訓(xùn)練框架,具備從蒸餾、微調(diào)、壓縮到模型加速的完整能力,支持多種模型并行,保證模型的最小化部署及最大化吞吐,推理速度相比業(yè)界主流框架FasterTransformer快1.3倍。
作為實(shí)用級(jí)的通用大模型,騰訊混元大模型的應(yīng)用場(chǎng)景豐富多樣。目前,超過180個(gè)騰訊內(nèi)部業(yè)務(wù)已接入騰訊混元,包括騰訊會(huì)議等。
騰訊,模型,混元






