多年以來,人們設計出許多不同的算法來壓縮視頻。視頻壓縮雖然聽起來是一個很現代的詞,但其實它從模擬視頻開始,已經有很長的歷史了。在本篇文章中,我會向大家一一介紹視頻壓縮史上的里程碑事件,正是這些事件的發生才有了今天的視頻壓縮。從過去到現在,各類視頻壓縮方法由最初的概念最終演化成現今的標準。很多壓縮標準今天還在使用,人們也一直在繼續開發和完善新的標準。
也推薦給您其他有趣且漲知識的簡史文章
1929:首次出現幀間壓縮
幀間壓縮是指僅保留一張關鍵圖像,以及后面幀與此圖像之間的差異,這張關鍵圖像被稱為關鍵幀(Keyframe)。令人驚訝的是,關于幀間壓縮的討論可以追溯到1929年。英國的R.D. Kell提出將幀間壓縮用于模擬視頻,這一概念隨后便延續下來并應用在今天的數字視頻上。
1952:差分脈沖編碼調制
下一個視頻壓縮的里程碑事件發生在1952年。貝爾實驗室的B.M. Oliver 和 C.W. Harrison提出可以在視頻編碼中使用差分脈沖編碼調制(DPCM)。在此之前,DPCM一直被用于音頻(今天依然如此)。DPCM技術是指你可以從圖像中采樣,并據此推測未來的樣本值。因為可以通過推測準確地重建圖像,所以不需要存儲太多圖像數據。
1959:使用時間壓縮的幀間預測編碼
1959年,使用時間壓縮的預測性幀間視頻編碼第一次被提出。時間壓縮是指在一段視頻中選擇一組間隔的關鍵幀,只對這些關鍵幀的變化進行編碼。作為其他幀的參考點,關鍵幀是唯一被記錄下來的幀。這一概念由日本廣播公司(NHK)的研究人員Y. Taki、M. Hatori和S. Tanaka提出。
1967:行程長度編碼
行程長度編碼(Run-length encoding,RLE)是指將連續出現的同一個數據值存儲為單一值和出現次數,如輸入數據流“AAABBCCCC”,輸出的是連續數據值的計數序列“3A2B4C”。之后你可以利用這些信息準確地重建同一張圖像!倫敦大學的研究人員A.H. Robinson 和C. Cherry提出這一概念,最初用于降低模擬電視信號的傳輸帶寬。今天,行程長度編碼仍在數字視頻中使用。
20世紀70年代:早期數字視頻算法
數字視頻在70年代出現。發送視頻時使用了和電信相同的技術——PCM(脈沖編碼調制)。是不是有些眼熟?PCM就來自上文提到的DPCM。PCM以數字形式表示采樣的模擬信號。它最初是音頻標準,在70 年代被用來壓縮數字視頻。雖然可以傳輸視頻,但它需要大碼率且傳輸效率較低。
1972:數字視頻的首次壓縮
Nasir Ahmed,印裔美國電氣工程師、計算機科學家
1972年左右,堪薩斯州立大學的Nasir Ahmed提出使用DCT編碼壓縮圖像。DCT代表離散余弦變換(Discrete Cosine Transform),它將圖像分成由不同頻率組成的小塊。在量化過程中,舍棄高頻分量,剩下的低頻分量被保存下來并用于后面的圖像重建。由于舍棄了某些頻率的圖像,所以最終呈現出來的圖像不會完全相同,但大多時候,這種差異不會被人們察覺。
1973:DCT技術成為一種圖像壓縮算法
DCT
Nasir Ahmed 與德克薩斯大學的 T. Natarajan 和 K.R. Rao 合作,實現了DCT圖像壓縮算法。1974年,他們發表了自己的工作成果。
1974:混合編碼的發展過程
1974年,南加州大學的Ali Habibi將預測編碼和DCT編碼組合在一起使用。我們在上文提到過,預測編碼是指猜測當前圖像出現前后的數值。Habibi的算法只能應用于幀內圖像,無法預測幀間圖像。
1975:混合編碼的進一步發展
John A. Roesse 和Guner S. Robinson進一步發展了Habibi的算法,使它可以應用于幀間,為此,他們嘗試了各種方法,最終發現Ahmed的DCT技術和預測編碼結合起來使用是最高效的。
1977:更快的DCT算法
陳文雄、 C.H. Smith 和S.C. Fralick一起優化了DCT算法,他們創立了Compression Labs公司,將DCT商業化。
1979~1981:運動補償DCT視頻壓縮
Anil K. Jain 和Jaswant R. Jain 繼續發展運動補償DCT視頻壓縮技術。陳文雄使用他們的成果創造出一種結合了所有研究的視頻壓縮算法。運動補償DCT上的持續研究工作使它最終成為了標準的壓縮技術,從20世紀80年代一直使用到現在。
1984:首個數字視頻壓縮標準——H.120
前期的所有研究最終取得成果——第一個視頻壓縮標準H.120問世。該標準對于單個圖像非常有用,但在維持幀間圖像質量方面效果不佳,于1988年被修訂。H.120是首個國際視頻壓縮標準,主要用于視頻會議。這是一次偉大的成就,但由于H.120多方面的低效,許多公司不得不試驗各種方法來完善這個標準。
1988:用H.261舉行視頻會議
H.261很可能是你見過或者使用過的一系列編解碼器中的第一個。它是第一個有效使用幀內和幀間壓縮技術的數字視頻壓縮標準。H.261 也是第一個在商業上成功的數字視頻編碼標準。它被用于全世界的視頻會議,并引入混合的基于塊的視頻編碼,該編碼今天仍在許多視頻標準(MPEG-1 第 2 部分、H.262/MPEG-2 第 2 部分、H.263 MPEG-4 第 2 部分、H.264/MPEG-4 第 10 部分和 HEVC)中使用。創建H.261標準的方法今天依然被廣泛使用。它支持的最大分辨率是352x288。
雖然這個標準在國際上很受歡迎,但它在剛發布時并不完整。該標準分別在 1990 年和 1993 年進行了修訂。H.261不包括處理編碼的細節,僅用于解碼視頻。
1992:使用Motion JPEG(MJPEG)的PC多媒體應用
1992年,Motion JPEG被創建出來用于計算機上的多媒體應用。這種視頻壓縮技術將視頻每一幀都分別壓縮成JPEG圖像。
1993:使用MPEG-1的視頻CD
MPEG表示Moving Pictures Experts Group(動態圖像專家組),它是ISO(International Standardization Organization,國際標準化組織)與IEC(International Electrotechnical Commission,國際電工委員會)聯合成立的專門針對媒體編碼制定國際標準的組織。1988年左右,他們開始合作制定今天為人所知的視頻編碼標準——MPEG-1。與 H.261 類似,MPEG-1雖然提供了示例實現,但沒有包含如何編碼視頻的標準。因此,MPEG-1 會根據編碼方式展現出截然不同的性能。
MPEG-1 專為壓縮 VHS(Video Home System,家用錄像系統) 質量的原始數字視頻、音頻和元數據而設計,用于視頻 CD、數字有線電視、衛星電視和供參考、存檔和轉錄用的文件共享。它的最大分辨率為 352x288。你可能最了解音頻中的 MPEG-1——它創造了MP3。
1994 使用H.262和MPEG-2的電視廣播和DVD
MPEG-2 和 H.262 是同一個視頻標準的不同名稱,它由許多公司共同開發而成。該標準支持隔行掃描(這是一種用于模擬 NTSC、PAL 和 SECAM 電視系統的技術),并且使用了很多有趣的編碼技術。下面介紹兩種:
圖像采樣
MPEG-2通過圖像采樣技術減少數據。其中一種方法是將每一幀分割為奇偶兩場圖像交替掃描(一個場里包含所有奇數行,另一個場里包含所有偶數行),在顯示時,先顯示第一個場的交錯間隔內容,然后再顯示第二個場來填充第一個場使之完整。這種方法被稱為隔行掃描。隔行掃描是一種減小數據量保證幀率的壓縮方法。
另一種策略充分利用了人眼對亮度的感知優于顏色的特點。MPEG-2采用了色度二次采樣(Chroma Subsampling):這種視頻編碼方式對色度(顏色)信息使用的分辨率比對亮度(亮度)信息使用的分辨率低。因為人類對顏色的觀察能力不強,即使有信息在壓縮過程中失去也不會影響觀看。這一策略的目的是減少存儲彩色圖像所用的數據,從而實現圖像壓縮不會降低質量。
I幀,P幀和B幀
MPEG-2使用不同種類的幀來壓縮數據。I幀是幀內編碼幀,I幀描述了圖像背景和運動主體的內容,可以作為P幀和B幀的參考幀。P 幀也被稱為預測幀,它包含自身與前面 I 幀、P 幀或 B 幀中的信息差異。B 幀類似于 P 幀,但它需要參考其前面一個I幀或P幀及其后面的一個P幀來生成一張完整的視頻畫面。
1995:使用DV存儲數字視頻
第一個 DV 規范被稱為Blue Book,其中定義了錄像帶、錄制調制方法、磁化和基本系統數據等共同特征。DV 使用 DCT 逐幀壓縮視頻。同MPEG-2一樣,它使用色度二次采樣進行進一步壓縮。
DV 是由索尼和松下為專業用戶和廣播用戶設計的。現在有了存儲卡和固態驅動器,這種存儲方法早已過時了。
1996:使用H.263的新一代視頻會議標準
在H.261的基礎上又實現了H.263。它利用DCT技術創建可用于視頻會議的低碼率壓縮視頻。這一標準廣泛用于互聯網上的 Flash 視頻內容、YouTube 和 MySpace 等。它一直應用于整個互聯網,直到H.264的出現。
1999:使用MPEG-4 第二部分的互聯網視頻
MPEG-4 第二部分(也稱為 MPEG-4 Visual)是一種與H.263兼容的標準,常用于監控攝像以及高清電視廣播和 DVD。它使用了比MPEG-2更高效的算法,且壓縮速度更快。不過,因為它無法處理AVC(Advanced Video Coding,高級視頻編碼)格式,后面才有了MPEG-4 AVC。
2003:使用H.264/MPEG-4 AVC的藍光、DVD、視頻直播和廣播電視
H.264/MPEG-4AVC(有時也被稱為MPEG-4 第十部分)發布于2003年。這種壓縮技術的目的是創建足夠靈活的高清數字視頻,以用于不同的系統、網絡和設備。這是目前最流行的壓縮標準。H.264不僅用于各種解碼器、瀏覽器和移動設備,還用于衛星、互聯網、電信網絡和電纜。藍光光盤、Netflix、Hulu、Amazon Prime Video、Vimeo、YouTube 以及你在互聯網上看到的幾乎所有視頻都有它的身影。它支持的最大分辨率是4096x2048。
該標準以運動補償整數DCT編碼為基礎。整數DCT變換是一種能夠特別快實現余弦變換的算法。H.264 支持無損壓縮和有損壓縮,與早期的壓縮標準相比,它非常靈活。另一個優點是,這項技術對互聯網上播放的流媒體內容免費。
2013:使用H.265/HEVC的360°沉浸式視頻、AR和VR
H.265/HEVC(High Efficency Video Coding,高效率視頻編碼)不僅可以做到H.264所能做的一切,而且表現更佳。它將文件大小減少了 50%,并支持非常高質量的視頻分辨率 ——高達 8K(最大分辨率為 8192x4320)。雖然你通常無需用到 8K 或無法通過今天的設備和網絡獲取到它,但H.265對于AR、VR和 360° 等沉浸式體驗非常有用。高昂的成本是它沒有得到廣泛應用的主要原因。除了Netflix 和 Amazon Prime Video 等大公司可以負擔這筆費用外,其他許多公司仍然選擇使用 H.264。
2013:VP9
VP9由谷歌開發,它是H.265的競爭對手。和H.265不同,它是免費的。H.265 在高碼率時表現更好。H.265和VP9編碼視頻都需要一段時間,這會增加延遲。也正是由于這個問題,H.264才會被繼續使用。由于免費的原因,VP9變得越來越流行。但是否會得到更廣泛的應用還未可知。
2018:使用AV1的高質量網絡視頻
谷歌、亞馬遜、思科、英特爾、微軟、Mozilla 和 Netflix 決定一起創建一個新的視頻格式標準——AV1。它是 VP9 之后的下一代視頻標準,開源且免費。這種格式專為實時應用(如 WebRTC)設計且支持更高分辨率,目的是能夠處理 8K 視頻。它利用新技術實現了了我在上文提到的典型的基于塊的DCT變換。通過更精確的方法將圖像分成塊并使用改進后的過濾,它可以準確地實現幀間預測。
2020:使用H.266/VVC實現商業上可行的4K、8K
H.266/VVC(Versatile Video Coding,多維度視頻編碼)主要面向 4K 和8K視頻服務。它于 2020 年 7 月發布,是目前為止最新發布的視頻壓縮標準。H.266進一步優化了壓縮(但沒有其他創新),大約可節省50%的視頻碼率,同時確保視頻清晰度不變。它使用基于塊的混合視頻編碼方法,其思想是找到優化和改進現有算法和壓縮技術的方法。H.266編碼速度仍然很慢,但該標準在較低碼率下提供了良好的質量改進。
我國擁有自主知識產權的第三代“信源編碼”標準——AVS3
AVS3視頻編碼標準是中國AVS工作組制定的第三代標準。它的目的是適應多種應用場景,如超高清電視廣播、虛擬現實和視頻監控。AVS3的開發過程分為兩個階段。到目前為止,AVS3的第一階段已經于2019年3月完成,它在4K超高分辨率視頻方面比AVS2節省了大約30%的碼率。此外,AVS3 的第二階段正在開發更有效的編碼工具以提高性能,尤其是監控視頻和屏幕內容視頻。
從1929到2020,視頻壓縮標準的歷史就告一段落了。回顧這近100年的歷史,正是在一代又一代個人和組織的不懈努力下,才有了今天的視頻壓縮標準。未來的視頻壓縮還會發生哪些變化?讓我們一起拭目以待。
翻譯?/ Alex
技術Review / LiveVideoStack特邀技術審校
原文鏈接:https://api.video/blog/video-trends/the-history-of-video-compression-starts-in-1929
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 730 位幸運星
發表評論 為下方 4 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓