在開放媒體聯(lián)盟（Alliance for Open Media,AOMedia,AOM）中，硬件和軟件開發(fā)人員共同創(chuàng)建了AV1標(biāo)準(zhǔn)規(guī)范。本次分享我們邀請來自谷歌的高級產(chǎn)品經(jīng)理Roshan Baliga，他將從什么是AV1、AV1硬件的采用、AV1的開發(fā)以及商業(yè)測試、軟件解碼，以及其對AV1生態(tài)系統(tǒng)的重要性等方面來介紹AV1的硬件。

　　大家好，歡迎來到由開放媒體聯(lián)盟和LiveVideoStack共同主辦的2021年開放媒體聯(lián)盟峰會。我是谷歌的高級產(chǎn)品經(jīng)理Roshan Baliga，從事開放視頻編解碼器的工作，致力于AV1硬件開發(fā)。AV1標(biāo)準(zhǔn)規(guī)范是開放媒體聯(lián)盟在2015年至2018年的三年時間開發(fā)的。開放媒體聯(lián)盟原本由7家公司組成，此后，會員數(shù)量迅速增長，許多公司都為AV1的研發(fā)做出了貢獻(xiàn)。如今開放媒體聯(lián)盟在全球擁有超過47家公司會員。

　　#1. 具有AV1硬件的設(shè)備

　　這次峰會的其他演講會集中討論AV1的軟件開發(fā)工作，而我想討論的是AV1的硬件。已經(jīng)發(fā)布三年。我們在AV1硬件被推向市場這方面取得了巨大的成功，而這一成功得益于我們在AV1開發(fā)之初以來一直所做的工作。

　　#2. AV1的開發(fā)

　　在開放媒體聯(lián)盟中，硬件和軟件開發(fā)人員共同創(chuàng)建了AV1標(biāo)準(zhǔn)規(guī)范。原始設(shè)備制造商和流媒體公司合作共同提供輸入。這讓我們得以完成兩件事：第一，我們可以確保編解碼器中的工具到硬件上實現(xiàn)不會太難；第二，這意味著我們可以在規(guī)范開發(fā)期間創(chuàng)建一致性碼流，硬件設(shè)計人員可以用這些一致性碼流來驗證AV1解碼器的應(yīng)用。

　　#3. Film Grain HW示例

　　Film Grain是根據(jù)一個硬件設(shè)計工程師的反饋而修改的工具。視頻輸出管道通常包括縮放、顏色校正和去噪，因此要求在解碼器輸出時必須重建膠片顆粒不總是合理的。盡管Film Grain是AV1的標(biāo)準(zhǔn)工具，但該規(guī)范允許在顯示路徑中重新添加膠片膜顆粒噪聲。

　　#4. 商業(yè)測試流

　　在AV1的開發(fā)過程中，開放媒體聯(lián)盟會員Argon Design致力于創(chuàng)建一致性碼流，這些碼流目前已上市。另外兩個開放媒體聯(lián)盟會員AllegroDVT和Vicue Soft也提供商業(yè)一致性碼流，這些碼流的上市幫助了芯片設(shè)計人員能夠在AV1發(fā)布后迅速發(fā)布兼容AV1解碼器。

　　#5. 時間預(yù)期表

　　上圖是我們預(yù)期推出AV1編解碼器的時間表。如果觀察硬件與設(shè)備部分會發(fā)現(xiàn)業(yè)績實際上剛好超出預(yù)期。2019年12月OPPO發(fā)布采用聯(lián)發(fā)科的天璣1000 SoC芯片的Reno3 5G手機(jī)，這是首款在硬件上支持AV1解碼的智能手機(jī)。

　　#6. 編解碼器時間表

　　我們對硬件支持的渴望也影響了時間線。上圖是開放編解碼器與MPEG /ITU的時間線對比。開放媒體聯(lián)盟將AV1的發(fā)布日期定在2018年，以確保我們在VVC發(fā)布之前擁有廣泛的硬件支持，我們知道可以再研究兩年獲得更大的壓縮，但2018年是啟動的發(fā)布AV1的最佳時機(jī)。為什么我們需要硬件解碼器呢？硬件解碼器又能應(yīng)用到哪里呢？

　　#7. 軟件解碼 4K

　　Dav1d是一個由開放媒體聯(lián)盟贊助VideoLAN和FFmpeg社區(qū)開發(fā)的開源AV1解碼器。它是使用最廣泛的AV1軟件解碼器，谷歌用Dav1d實現(xiàn)谷歌瀏覽器的AV1支持。在高端臺式電腦上，例如英特爾和AMD，Dav1d可以以超過40幀/秒的速度解碼4K分辨率的AV1視頻。但Dav1d在低端臺式電腦上就沒有這么快了，有時Dav1d還達(dá)不到30幀/秒。筆記本電腦通常比臺式電腦慢，所以可能只能解碼1080p。而且，即使電腦可以在軟件中解碼4K，它也可能不滿足接收高分辨率碼流所必需的數(shù)字版權(quán)管理要求，付費(fèi)內(nèi)容通常只有在使用硬件解碼器時才可以訪問。

　　#8. 電池續(xù)航

　　另外一個值得關(guān)注的是電池續(xù)航時間問題，隨著用戶在智能手機(jī)和筆記本電腦等移動設(shè)備上觀看越來越多的視頻，電池續(xù)航能力是重要的考慮因素。軟件解碼器在每個視頻流上使用的電量比同等硬件解碼器更多，即使SoC芯片能夠用軟件解碼720P或1080P，硬件解碼器對移動設(shè)備（的電池續(xù)航時間）也是至關(guān)重要的。

　　#9. 谷歌Duo添加AV1支持

　　編碼方面的差異甚至更大，一年前谷歌Duo添加了AV1，支持分辨率為320×240的視頻通話。分辨率低的原因是在硬件AV1編碼器應(yīng)用到手機(jī)上之前，手機(jī)只能實現(xiàn)低分辨率的實時軟件編碼。這并不是說谷歌Duo使用AV1是不成功的，相反，這些低至15kbps的低分辨率通話給發(fā)展中國家只能打音頻通話的用戶帶來了視頻通話。我們需要更好的硬件編碼讓世界各地都能夠享受更好的高分辨率視頻通話。

　　#10. Libaom編碼速度

　　軟件編碼面臨的另一個挑戰(zhàn)是YouTube和抖音等網(wǎng)站承載的視頻內(nèi)容的巨大體量。對于這些類型的網(wǎng)站，用戶不斷的上傳新的視頻，這些視頻必須立即被轉(zhuǎn)碼和流輸出，這些視頻的體量比網(wǎng)飛和愛奇藝等付費(fèi)視頻網(wǎng)站上的視頻大很多。過去的兩年中，我們提升了開放媒體聯(lián)盟的參考AV1編碼器的性能，Libaom現(xiàn)在在速度方面非常出色。它的編碼速度大約比定稿發(fā)布時快了150倍，大致相當(dāng)于VP9的編碼速度。即使如此，對于需要高效率的大型視頻網(wǎng)站來說，這種方法的性價比還不夠高，軟件編碼對于視頻網(wǎng)站的"頭"來說是極好的，但是"長尾"還需要更多的CPU。

　　#11. ASIC硬件編碼

　　在未來幾周，谷歌和YouTube將在ASPLOS2021年會議上發(fā)表一篇描述他們對硬件編碼器的使用的論文。它將描述硬件編碼器對大型視頻網(wǎng)站采用新編解碼器的重要性。AV1硬件編碼器IP已經(jīng)上市一年多，今年我們將看到AV1商業(yè)硬件編碼器的上市。上個月開放媒體聯(lián)盟會員公司NETINT發(fā)布了他們?yōu)橹辈セ蛄髅襟w設(shè)計的AV1硬件編碼器芯片。

　　#12. 支持AV1解碼器的品牌

　　如果視頻不能流暢的回放，用AV1編碼就沒有什么意義，所以消費(fèi)類設(shè)備上的硬件解碼器非常重要。在過去的兩年里，市場上出現(xiàn)了許多配置了AV1硬件解碼器的設(shè)備，這些設(shè)備包括電視，智能手機(jī)，筆記本電腦，臺式電腦和圖形處理器。以上圖片是目前支持AV1硬件解碼器的一些品牌，由于AV1有商用的一致性碼流，這些產(chǎn)品將成功解碼所有的合規(guī)AV1流，有些產(chǎn)品甚至可以解碼8K/60 AV1。

　　#13. 硬件的未來

　　我們預(yù)計會有更多的制造商在他們的產(chǎn)品組合中支持AV1,尤其是低端市場。隨著AV1被推向更便宜更實惠的產(chǎn)品，例如中端智能手機(jī)和更便宜的電視。增加的安裝基數(shù)將刺激流媒體公司采用AV1，我們還預(yù)計很快會推出配置AV1的機(jī)頂盒，這些設(shè)備可以使用7年及以上的時間。   希望大家覺得這個演講有用并了解到AV1硬件的發(fā)展和采用形勢，以及其對AV1生態(tài)系統(tǒng)的重要性。在不久的將來，請關(guān)注更多支持AV1的設(shè)備和消費(fèi)電子產(chǎn)品的發(fā)布，感謝大家的聆聽。