從計算攝影到計算光學,華為50徹底改變了手機影像產業

從計算攝影到計算光學,華為50徹底改變了手機影像產業

從計算攝影到計算光學,華為P50徹底改變了手機影像行業的未來

7月29日,在遲到了4個月後,華為今年的影像旗艦P50系列釋出,無論對於華為消費者業務還是對於國人,P50已不再只是一款簡單的手機產品。

對於華為手機而言,P50系列飽含著倔強的精神,對於中國科技和國人而言,P50系列可能代表著中國科技力量自立自強的勇敢和不屈的精神。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

一句話 記錄了一個時代

當然作為開創了全球手機拍照時代的華為P系列手機,這次P50系列帶給行業和使用者的,是顛覆傳統的全新的手機影像技術體系,而這一體系,將讓手機攝影迎來一個全新的時代。

01

手機影像的發展及華為P系列的影像歷程

回顧華為P系列的產品發展,我們可以清晰得看到,中國企業在手機領域除了在晶片、作業系統之外,在手機影像領域從跟隨到引領全球產業發展的技術演進之路,看到未來手機影像如何去改變我們記錄生活的方式。

2016年,華為P9橫空出世,這款搭載了由華為和徠卡合作研發的1200萬畫素雙攝像頭手機,同時使用了全球首款專用深度學習晶片和全新ISP晶片,不僅極大地提升了使用者的拍照體驗,更是將手機拍照從將就變成了可用,讓手機影像從簡單的清不清楚,變成了可以獲得更好清晰度和色彩、影調的記錄工具。隨後華為釋出的P10,第一次真正實現了對人像拍照的關鍵性突破,“人像攝影大師”的名號實至名歸。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

2018年,P20系列上市,依靠先進的4000萬畫素的三攝組合和三倍變焦,在影像質量上有了大幅度的提升,改寫了DxOMark全球手機拍照排行榜一直被國外手機佔據的歷史。從此,DxOMark最佳拍照手機就成了華為和中國手機展示影像技術實力的“中國榜”,同時也讓華為的手機影像系統開始全面領先於全球手機產品。

P30的出現在手機影像行業是革命性的,透過5倍變焦和RYYB陣列的搭載極大地提高了小模組的進光量,從而讓手機拍照有了點單反的感覺,手機影像也從此開始不再只是簡單的採用傳統數碼單反的技術思路,透過演算法和不同的硬體組合開始獨立發展。

2020年華為P40問世,這在手機影像領域具有劃時代的意義。一直隱藏在華為手機背後的計算攝影的核心技術XD Fusion影象引擎從幕後走到了前臺,讓行業終於可以看清一直以來華為不斷突破手機攝影的技術極限的根本原因。“在XD Fusion出現之前,手機影像仍然遵循傳統單反的拍照邏輯,那麼在XD Fusion出現之後,手機攝影已完成了從傳統單反拍照技術邏輯向以計算為主的新的手機影像邏輯的轉變。”

對於攝影而言,無論是手機攝影還是單反或者微單,其實都是由兩個核心部件組成,一個是以CMOS為核心的成像模組,另外一個就是負責光學影像傳遞的“鏡頭”。在華為手機影像的發展史中,透過五代產品在演算法和色彩層面的不斷突破,基於CMOS成像模組的技術發展已接近於成熟,如果要進一步提升手機攝影的影象質量,在“鏡頭”產業技術無法有大的突破下,如何發揮現有鏡頭產品和技術的最大能力,可能是手機攝影最後的一個技術突破方向。

7月29日釋出的華為P50系列,則讓手機攝影從光學成像資訊在傳遞過程中的資訊損失的還原方向,開闢了另外一條開啟手機影像系統全面提升的通道,同時也由此構建起了手機影像系統完整的技術體系。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

02

華為P50在手機影像領域的突破性技術——計算光學

在影像領域,無論是單反還是手機攝影,其核心仍然是如何將光訊號變成電訊號的過程。在這個過程中,簡單地理解,鏡頭是負責光訊號傳輸的裝置,而以CMOS為核心的模組,則是將光訊號轉變為電訊號的裝置。所以提高影象質量,一方面是需要提升CMOS的面積以及由此形成的基於DSP的還原演算法,另外一個可以提升影象質量的方式就是提升鏡頭的質量。

提升鏡頭的質量,這在單反領域並不太難,透過不同的鏡頭材質可以有效地改善鏡頭的解析度、色差、場差等光訊號傳遞過程中的損失,但這樣的高素質鏡頭,都是以極高的成本和急劇提升的重量和體積為代價的。這一技術路線,顯然無法在手機狹小的空間裡實現。近幾年手機行業,雖然透過不斷增加攝像頭數量和增大CMOS面積可以些許改變一些影像質量,但透過硬體規格和數量的提升終歸是有盡頭的,當手機攝像頭增加到5攝,不僅帶來了體積的增加,同時多攝像頭的組合也給統一色調、影調的演算法帶來了更高門檻。

手機影像要突破硬體帶來的束縛,必須要另闢蹊徑。

在華為P50系列上,華為開創性地採用了計算光學(XD Optics)的技術,透過與鏡頭廠商的密切合作,在一個鏡頭模組設計之前和生產出來之後,透過設計上提前預測和後期測量,得知該鏡頭光學的特性,再透過演算法來提前預測光路導致的像差損失,從而改變“調製傳遞函式(MTF)”,來最大程度地還原在光訊號傳遞過程中的損耗。任何光學鏡頭都是存在缺陷的,不是設計和製造水平達不到要求,而是從光學理論來看,光在傳遞過程中一定會出現彗差、球差、色散等問題,如何將光訊號在傳遞過程中損失的資訊重新找回來,就是計算光學技術核心解決的問題。由於光路是可逆的,就能知道某個指定波長的光線經過某一鏡頭、經過什麼樣的方式之後,輸入和輸出光線的差別,就可以透過演算法彌補光學系統本身的一些損失,這就為計算光學提供了廣泛的想象空間。

據華為相關人士介紹,在計算光學上,華為已經進行了很多年的研發,在P50上終於完成了革命性的突破。

在計算光學的技術方面,刀客與華為技術人士進行了相對深入的探討。他表示,用P50 Pro的潛望鏡模組來說,在影象進入光學器件的過程中會損失50%的影象資訊(這個損失非常大),如果沒有計算光學參與,只能通過後期影象資訊處理技術來提升(XD Fusion)。以前沒有計算光學時的影象處理,叫半段式圖象處理,按照半段式,前面的光學部分損失50%,後面想辦法做還原、恢復,最多隻能做到60%影象原始資訊的恢復。而在P50系列手機上,計算光學的加入,可以多還原25%的影象資訊。從以前半段式還原60%的影象資訊,可以提升到81%,這是很大的進步。在不佔用過多手機空間的情況下,就能獲得高效能鏡頭模組帶來的成像質量。

這些理論,在華為P50系列手機上得到了驗證,從實際拍照樣張來看,在高頻訊號覆蓋的區域,影象的反差和清晰度有了明顯的提升。這也證明了,透過計算光學,可以有效改善鏡頭的MTF曲線,特別在10線對的區域,可以有效提升影象的反差。華為方面表示,“據測算,P50 Pro的潛望鏡MTF表現在計算光學技術的加持下,(傳輸光量)最多可以翻倍,尤其在草地、樹葉、遠處建築物輪廓等帶有高頻資訊(反差)的場景,影象清晰度增強了很多。”

計算光學(XD Optics)在手機影像領域的應用,為手機影像的發展提供了一條全新的技術路線,同時這一技術,並不僅僅可應用於手機影像,對於單反甚至整個影像領域,都可以提供一條低成本提升影像質量的技術方向。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

03

華為P50用全新技術思路構建手機影像的技術體系

P50系列在影像方面的突破,還有一個重要的技術方向也同樣值得重視,這就是影像系統中的色彩還原,華為在P50系列產品中引入了“原色引擎”單元。透過10通道的色溫感測器,環境光譜的提升率比以前提升50%,再加上色適應模型實現了軟硬體高度協同,從而讓成像色彩所見即所得,無限接近自然界的光譜,色彩更精準、解析度更高。

與之前行業通行的標準白平衡校準不同,這次華為在原色引擎上,採用了全新的技術思路。在傳統白平衡校準方式中,想拍顏色非常準確的照片需要手動設定白平衡,先拍一張白紙做基準,然後再拍我們所需要拍攝的主體,主體色彩和環境色彩都會以這張白紙作為基準進行校正,這麼做的結果的確把視野裡面的白色拍成純粹的白色,但事實上我們人眼看到的可能並不是這樣,人眼感受的色彩會隨著環境色彩發生變化。

在原色引擎上,華為擬合人類感知色彩的流程(人類感知色彩有兩部分:一是人眼看到,二是人腦處理)。模擬人眼的部分做了獨特的色彩空間的轉化,影象感測器和多光譜感測器獲得環境資訊後,把RGB轉為CIE-XYZ色彩空間,再進行人腦環節的模擬,使得光源色彩變化時保持感知到的物體色彩儘量恆定,這就實現了拍攝的影象基本上和我們人眼看到的一樣。

原色引擎的引入,讓手機攝影在色彩表現上更加能真實的還原人眼所感知的影像,甚至為整個影像行業的色彩還原提供了一種全新理念。

在華為的影像技術體系中,計算攝影(XD Fusion)經過多年的技術演進,已經成為計算攝影方向最有技術發展前景和價值的影象引擎。在多鏡頭不同維度的訊號輸入之後,XD Fusion Pro系統的計算機視覺單元開始進行不同畫面的語義識別,並透過設定標準進行不同場景的識別和主要特徵的識別,比如說背景中的草原、藍天、樹林,以及拍照主體的人物、動物或靜物花卉,並重新結構化背景資訊、主體及主體形勢等一系列畫面要素。

經過重新結構化的畫面資訊,在神經網路處理單元會重新組合,並根據已經經過大量資料訓練過的演算法模型進行進一步的畫面最佳化處理,不同畫面構成的歸一化處理,包括準確的白平衡、銳度、色彩飽和度、以及區域性(比如臉部)的個性化特徵處理。這是一種畫素級的基於深度學習的處理,畫面質量與輸入的訊號有了天壤之別。

由此,華為透過P50系列產品,將計算攝影的各個環節全部打通,透過計算光學,重構了物理鏡頭的調製傳遞函式(MTF),找回了在光訊號傳遞過程中的損失,再透過XD Fusion Pro,對多鏡頭的多維資訊進行了影象的數字化重構,最大可能的發揮了各CMOS的光電轉換的能力,同時透過原色引擎,讓影象在色彩方面更加符合人眼觀察到的色彩,實現了真實世界在手機上的全新影象重構,這一技術體系,形成了完整並極具價值的手機影像發展的技術路線。

如果說P40之前,在計算攝影領域,華為和蘋果是這一行業並跑的兩大玩家,那麼隨著在P40上全面釋放的XD Fusion影象引擎的出現,讓華為在手機計算攝影領域的領先優勢得以鞏固,到日前釋出的P50,華為在計算攝影領域,形成了完整的技術體系,構建起了未來計算攝影的產業技術規範。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

華為以計算光學(XD Optics)、計算攝影(XD Fusion)以及原色引擎形成的計算攝影的技術體系,完整的解決了鏡頭在光訊號傳遞過程中的損失,XD Fusion Pro影象引擎讓光訊號透過深度學習演算法最大可能的還原了影象資訊,配合原色引擎實現了“真實”色彩的數字化重構,這一技術體系,不僅改變的是手機攝影領域,未來極有可能成為影像行業發展的里程碑。

從計算攝影到計算光學,華為50徹底改變了手機影像產業

華為 HUAWEI Mate 40 RS 保時捷設計麒麟9000晶片 超感知徠卡電影五攝

檢視