GPT3為什么會(huì)徹底改變?nèi)斯ぶ悄埽?/h1>
來(lái)源： 互聯(lián)網(wǎng)
作者： 佚名
摘要： GPT3為什么會(huì)徹底改變?nèi)斯ぶ悄埽?
人工智能的自然語(yǔ)言理解技術(shù)在2020年進(jìn)步很快，可以說(shuō)是進(jìn)一大步，因?yàn)榛赥ransformer模型的OpenAI
GPT3模型（沒(méi)錯(cuò)，是一種型號(hào)，前面還有GPT2）的原因。
話說(shuō)2020年年中，人類歷史上最大的人工智能模型，來(lái)到人間。GPT-3模型出生于美國(guó)Open AI實(shí)驗(yàn)室。
這個(gè)基于Transformer的GPT3模型是個(gè)體格巨大的北鼻，哭聲嘹亮，告知全世界：
“我寫的作文，幾乎通過(guò)了圖靈測(cè)試?！?/p>
而Transformer 模型是谷歌團(tuán)隊(duì)早在 2017 年提出的一種經(jīng)典模型，現(xiàn)在火熱的 Bert 模型也是基于 Transformer模型。
可以見(jiàn)Transformer模型的江湖地位有多重要，“進(jìn)步的突出性”也可見(jiàn)一斑。
重點(diǎn)來(lái)了，Transformer
模型使用了自注意力機(jī)制，能夠忽略無(wú)關(guān)信息而關(guān)注重點(diǎn)信息。模型可以并行化訓(xùn)練，而且能夠擁有全局信息。因?yàn)橹暗娜斯ぶ悄苤械木矸e運(yùn)算有一個(gè)顯著缺陷，即僅在局部近鄰上工作，也由此會(huì)錯(cuò)失全局信息。
所以，自注意力機(jī)制就是一種“補(bǔ)足性的進(jìn)步”。
簡(jiǎn)單說(shuō)就是，從大量信息中有篩選出少量重要信息，并聚焦到重要信息上，從而忽略大多不重要的信息，并以權(quán)重代表了信息的重要性。
Transformer
模型的架構(gòu)主要用于對(duì)自然語(yǔ)言理解任務(wù)進(jìn)行建模，避免使用神經(jīng)網(wǎng)絡(luò)中的遞歸，而是完全信任自注意力在輸入和輸出之間繪制全局依賴性的機(jī)制。
自注意力機(jī)制已經(jīng)用在了谷歌搜索技術(shù)中，Transformer，Bert和GPT3這些花枝招展的模型，都是這一思想的體現(xiàn)與升華。
關(guān)鍵詞：
GPT3,改變,人工智能
審核：yj164
編輯: yj164
摘要： GPT3為什么會(huì)徹底改變?nèi)斯ぶ悄埽?
人工智能的自然語(yǔ)言理解技術(shù)在2020年進(jìn)步很快，可以說(shuō)是進(jìn)一大步，因?yàn)榛赥ransformer模型的OpenAI GPT3模型（沒(méi)錯(cuò)，是一種型號(hào)，前面還有GPT2）的原因。
話說(shuō)2020年年中，人類歷史上最大的人工智能模型，來(lái)到人間。GPT-3模型出生于美國(guó)Open AI實(shí)驗(yàn)室。
這個(gè)基于Transformer的GPT3模型是個(gè)體格巨大的北鼻，哭聲嘹亮，告知全世界：
“我寫的作文，幾乎通過(guò)了圖靈測(cè)試?！?/p>
而Transformer 模型是谷歌團(tuán)隊(duì)早在 2017 年提出的一種經(jīng)典模型，現(xiàn)在火熱的 Bert 模型也是基于 Transformer模型。
可以見(jiàn)Transformer模型的江湖地位有多重要，“進(jìn)步的突出性”也可見(jiàn)一斑。
重點(diǎn)來(lái)了，Transformer 模型使用了自注意力機(jī)制，能夠忽略無(wú)關(guān)信息而關(guān)注重點(diǎn)信息。模型可以并行化訓(xùn)練，而且能夠擁有全局信息。因?yàn)橹暗娜斯ぶ悄苤械木矸e運(yùn)算有一個(gè)顯著缺陷，即僅在局部近鄰上工作，也由此會(huì)錯(cuò)失全局信息。
所以，自注意力機(jī)制就是一種“補(bǔ)足性的進(jìn)步”。
簡(jiǎn)單說(shuō)就是，從大量信息中有篩選出少量重要信息，并聚焦到重要信息上，從而忽略大多不重要的信息，并以權(quán)重代表了信息的重要性。
Transformer 模型的架構(gòu)主要用于對(duì)自然語(yǔ)言理解任務(wù)進(jìn)行建模，避免使用神經(jīng)網(wǎng)絡(luò)中的遞歸，而是完全信任自注意力在輸入和輸出之間繪制全局依賴性的機(jī)制。
自注意力機(jī)制已經(jīng)用在了谷歌搜索技術(shù)中，Transformer，Bert和GPT3這些花枝招展的模型，都是這一思想的體現(xiàn)與升華。
GPT3,改變,人工智能
