解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機

Keith Yim 2019-05-23 20:09 | Google
Google 的 Pixel 系列手機在相機規格上,一直靠單鏡頭的拍照方式,都可以力壓多鏡頭對手。哪怕是單鏡頭讓半臂,在 DxOMark 上的評分依然都有極佳的成績。 究竟 Google 靠乜野黑科技黎達成「單春打天下」的神技呢? 今天我們就來為大家解密,到底 Pixel 系列手機,如何透過單鏡頭拍攝出驚艷的照片。

DSC01611.JPG


這次 Google 特別請來了 Google 傑出工程師 Marc Levoy 博士,他是 VMware 的創辦人暨史丹福大學電腦科學榮譽退休教授,在電腦輔助卡通動畫製作(1970 年代)方面、立體渲染(1980 年代)、3D 掃描(1990 年代)、光場成像(2000 年代)和計算攝影(2010 年代)有相當深的研究。他目前帶領的團隊負責的專案包括 Pixel 智慧型手機的 HDR+ 模式、肖像模式和夜視功能、Jump 光場相機與 Halide 圖像處理程式語言等。

在進入 Google 相機技術的秘密之前,Marc 先跟 ePrice 版主談到,現在的相機趨勢的部分,在過去各家都是靠著鏡頭光學的硬件設計來打造相機,但是在進入手機的時代,由於感光元件體積上的物理限制,技術開始慢慢地往軟件處理為主:拍照已不是純靠光學捕影來生成相片。

Google 打造的相機除了有一定水準的光學品質外,在軟件的部分也下了相當大的功夫。Google 在拍攝軟件當中導入了 Machin Learning 機器學習能力,而機器學習就是運用大量的 AI 來取代傳統的演算法,在長間的使用下,機器會獲取到更多的數據與資訊,提升整體的執行準確度。


Pixel 系列的基本法則

在手機拍照軟件的部分,Marc 博士提到了幾個要點是他們在設計軟件上必須遵守的原則,像是執行上要相當的快速,在 Liveview 取景上需要大於 15fps、快門延遲時間必須小於 15 毫秒、成像時間需要在五秒以內,而且在運行拍照的過程中手機溫度也不能上升太多。


一、HDR+ 的功能

而自從 Nexus 系列開始,Google 就相當著重在 HDR+ 的開發上,舉一個例子來說在傳統的 HDR 拍攝高反差的場景時,相機會主動捕捉從高至低等不同曝光程度的影像,快速在曝光時間長的照片中取得暗處細節、在曝光時間短的地方取得亮處的細節,然後再合成影像,但是這樣的作法很有可能因為手持時的晃動而無法成功合成影像,也會容易同時出現死白及暗部高雜訊;但是 Google 手機 HDR+ 原理卻是在重點利用重複曝光、欠曝下連拍照片,再進行校準與合併,這樣一來就能夠保留亮處的細節,同時也能夠透過多張合成得方式降低暗處的雜訊,保留整體的對比、色調以及細節,呈現出 HDR+ 的效果。

螢幕快照 2019-05-23 下午2.47.21.png
​▲ 傳統的 HDR 合成方式,透過不同曝光程度的照片合成影像,但是這樣的方法一般需要上三腳架才能獲得穩定的影像。

螢幕快照 2019-05-23 下午2.47.34.png
螢幕快照 2019-05-23 下午2.47.38.png
▲ Google HDR+ 的拍攝方式,更能保留亮部的細節以及減少過多暗部雜訊的產生。


二、雙像素 + AI = 神級景深模擬

相信唔少網友都好奇,為何 Google Pixel 手機單鏡頭模擬出黎的景深、比隔離位多鏡頭效果更自然、更出色? Marc 博士解釋,在其他傳統手機的肖像模式下,手機會採用多於一個鏡頭去進行下面四個步驟:
 
  1. 去捕捉不同焦點的畫面
  2. 再透過演算法去匹配出畫面深度之後
  3. 決定一個場景的焦平面來保持畫面的銳利程度
  4. 之後藉由畫面中遠近物體的判斷,來讓背景呈現失焦的效果

但是從在 Google Pixel 系列「單春保至尊」的情況下,只需要透過下面兩種技術就能獲得同樣甚至更棒的景深效果:


1、運用相機當中的硬件技術「雙像素(Dual pixels)」預估深度圖(Depth Map):
過往在 Pixel 2 已出現的雙像素對焦技術(Dual pixels)是 Google 拍照技術的其中一大重點。簡單黎講,就係透過感光元件上「分得最開距離」的兩粒像素來辨認現場環境的遠近距離,你可以想像這跟人眼一樣是用兩顆眼睛來看世界,左右眼睇野會呈現很小的差異,能讓影像稍為立體化,利用雙像素偵測到的距離資訊,從而造出有不同深度的照片。

但一粒 Sensor 面積有幾大?  最遠距離的兩個 Pixels 其實都係好近,你可以想像下你眼睛 Stick together,然後就無然後了。瞳距太近,效果自然唔會太好,而且呢種方案低光環境下亦難以輕鬆得出準確的距離資訊。

螢幕快照 2019-05-23 下午3.04.53.png
​▲  利用雙像素偵測的方式預估畫面深度。

2、利用機器學習技術分割影像中的人物:
所以黎到 Pixel 3 系列,Google 就選擇加強 AI 人工智能幫助製造景深! 在透過 Pixel 手機拍照時,手機會運用卷積神經網路(Convolutional Neural Network, CNN)預估圖像中每一個像素的人物;同時利用超過 100 萬張的人物場景照片進行機器訓練,最後透過普通人睇唔明的數學公式的計算將邊緣的感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

DSC01613.JPG
DSC01612.JPG
​▲ Google 直接公開計算景深的演算法公式,唔怕比隔離偷學嗎?

螢幕快照 2019-05-23 下午3.00.01.png
​▲ 透過人物邊緣的計算之後帶入景深的演算法,效果確實「AI 救地球」。


三、高解析數碼變焦

其他手機廠出到 N 鏡頭,出動埋 tele 鏡「打月」,靠的係多鏡頭混合變焦,聲稱可以達到無損 3 倍、5 倍甚至是 10 倍數碼變焦;但是 Google Pixel 3 則是在單鏡頭下就能使用 10 倍數碼變焦,而且也號稱能給你高解析的影像,這又是怎麼做到的呢?

秘密就在於 Google 採用了像素位移的技術,在感光元件上有著 RGB 的影像單位訊息,你影相時候輕微的手震,利用像素位移來移動感光元件後,可以額外獲取到兩倍到三倍的資訊量,提供足以製造數倍放大成像的資訊量。

而在手機上三腳架等完全固定的場景下,相機仍然可以透過強制開啟光學影像穩定功能 OIS 來製造畫面晃動的場景,達成像素移位效果。而且搖晃的幅度也相當的小,不會影響到畫面的呈現。成件事聽落咁似 Pentax 的 Pixel Shift Resolution system(像素移位解像系統)??

螢幕快照 2019-05-23 下午3.16.36.png
​▲ 感光元件上的 RGB 像素,可以透過垂直、水平、垂直+水平 的位移來獲取多的畫面資訊。


四、Nigh Sight 夜視模式

最後就是後期 Google Pixel 手機新加入的夜視模式(Night Sight),其他廠家都有類似效果的功能。而 Google 的技術應用就是透過按下快門之後,畫面將會靜止不動幾秒鐘,高速捕捉最多 15​ 張畫面,同時相機會進行移動偵測,根據手震的程度來判斷取景所需要的時間,然後交比軟件進行影像合成。理論上,你手持越穩定,也就能獲得越長的曝光時間,同時得到更好的畫面。

螢幕快照 2019-05-23 下午3.22.47.png
​▲ 左為畫面偵測的白平衡、右為 AI 學習之後的白平衡還原場景色調。

而在取得影像之後,手機也會藉由 AI 學習功能,來調整場景的環境色調。例如在夜拍的過程中完全沒有足夠的光線時,最後合成影像之後手機還會透過 AI 來還原場景中真實的色調,而這部份 Marc 博士也提到他在過去也有古典作畫的研究,在強化對比、陰影的投影呈現以及黑暗場景的表現,都是運用過去的經驗,再加以現在的演算法來進行色調映射(Tone Mapping),盡量保有影像原有的色彩。

螢幕快照 2019-05-23 下午3.24.24.png

在 M 博士的說明下,大家是不是對 Google 的單鏡頭神技有更多認識呢? 其實一切都係得益於海量圖像數據 + AI 學習! 如果大家有興趣的話,也能到 Google 官方的 BLOG 瀏覽更多有關技術的說明~
  原文來自 ePrice.com.tw 文章,再由 ePrice.com.HK 大仙 YK 修改

最新新聞