iPhone12 Pro搭載LiDAR激光雷達(dá)掃描儀

10月14日凌晨的蘋(píng)果發(fā)布會(huì)上，iPhone 12 正式面世。與基本機(jī)型相比，iPhone 12 Pro 和 iPhone 12 Pro Max 的后置攝像頭除了多一枚長(zhǎng)焦鏡頭，還增加了一顆 LiDAR激光雷達(dá)。

 

 

這顆激光雷達(dá)是什么？它能為你的手機(jī)帶來(lái)什么新體驗(yàn)？

 

在這塊圓形黑色區(qū)域之下，LiDAR 主要由兩部分組成：發(fā)射端和接收端。垂直腔面發(fā)射激光器（VCSEL）作為發(fā)射端，向物體發(fā)射一束紅外光，經(jīng)反射被 CMOS 圖像傳感器接收，光束經(jīng)歷的這一段時(shí)間被稱為飛行時(shí)間（ToF）。

 

 

飛行時(shí)間又分為直接飛行時(shí)間（dToF）和間接飛行時(shí)間（iToF）。前者向目標(biāo)發(fā)射一個(gè)光脈沖信號(hào)，直接測(cè)量光子從出發(fā)到返回的用時(shí)；后者發(fā)射一連串經(jīng)過(guò)調(diào)制的光波，通過(guò)檢測(cè)來(lái)回光波間的相位差測(cè)量飛行時(shí)間。  

 

 

 已知光速，通過(guò)簡(jiǎn)單的計(jì)算我們就能得到與目標(biāo)物體之間的距離。這樣的測(cè)距原理與雷達(dá)類似，不過(guò)，LiDAR 基于的是脈沖激光，比雷達(dá)利用的無(wú)線電波波長(zhǎng)更短、頻率更高，可以得到分辨率更高的圖像，精度可達(dá)厘米甚至毫米級(jí)別。 

 

 

因此，LiDAR 也被應(yīng)用在地圖測(cè)繪、自動(dòng)駕駛、文物保護(hù)等領(lǐng)域。而到了手機(jī)，它又能做些什么呢？

  這不是蘋(píng)果第一次在它的產(chǎn)品里引入激光雷達(dá)。早在今年 3 月，2020 款 iPad Pro 就配備了 LiDAR 掃描功能，采用直接飛行時(shí)間技術(shù)（dToF），相比 iToF，功耗較低且不易受環(huán)境光的干擾，可以做到大范圍測(cè)量。  使用時(shí)，發(fā)射器投射出 9 * 64 大小的矩陣光束，捕捉并繪制最遠(yuǎn) 5 米范圍內(nèi)的位置深度圖。改變，首先發(fā)生在你拍攝的照片里。 

 

 

 一張出色的淺景深照片，是通過(guò)調(diào)大相機(jī)光圈并對(duì)焦在距離相機(jī)較近的地方實(shí)現(xiàn)的。今天，通過(guò)多個(gè)攝像頭和機(jī)器學(xué)習(xí)算法的幫助，用手機(jī)也能輕而易舉拍出這種背景虛化的效果。  首先，神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)技術(shù)可以讓手機(jī)知道我們?cè)谂氖裁?，以及目?biāo)距離我們有多遠(yuǎn)。對(duì)于普通人來(lái)說(shuō)，從一張照片中判斷物體層次和遠(yuǎn)近關(guān)系是一件非常容易的事，但對(duì)于機(jī)器，則需要大量的資源來(lái)學(xué)習(xí)，比如顏色分布、明暗程度和物體尺寸。

 

 

  就像上面這張照片，曝光度均勻且主題明顯，機(jī)器很容易分析出距離鏡頭較近的點(diǎn)以及距離鏡頭較遠(yuǎn)的點(diǎn)。  可一旦照片中有更復(fù)雜的關(guān)系，事情就變得棘手了。  人類或者動(dòng)物的毛發(fā)、豐富的色彩、以及與背景顏色接近的衣服等，都很容易被機(jī)器誤判為背景，尤其是主體的邊緣區(qū)域，呈現(xiàn)出不自然的模糊效果。  

LiDAR 的加入能帶來(lái)更精準(zhǔn)的深度信息，以便于讓 iPhone 理解物體之間的前后關(guān)系，通過(guò)算法繪制出一張空間位圖，并將照片做切片處理。iPhone 會(huì)在幾納秒內(nèi)根據(jù)深度信息圖將照片切分成多份，距離越遠(yuǎn)的圖層，模糊程度越高，制作出一張以假亂真的淺景深人像照片。

 

 

同時(shí)，在低光照條件下，iPhone 的對(duì)焦速度也將大幅提升，并且可以在黑暗中準(zhǔn)確找到畫(huà)面中的人物，為夜間模式下的人像照片打下基礎(chǔ)。

 

當(dāng)然，LiDAR 對(duì) iPhone 12 Pro 的拍照提升實(shí)際上還得看實(shí)拍測(cè)試。你可以期待另一個(gè)讓它真正大放異彩的領(lǐng)域—— AR。

 2017 年開(kāi)始，蘋(píng)果公司推出 AR 軟件開(kāi)發(fā)套件 ARKit，開(kāi)發(fā)者們可以使用它制作出精致的 AR 應(yīng)用，比如下面這個(gè)能讓你隨時(shí)隨地打保齡球的游戲。 

 

 

 游戲場(chǎng)景中的這兩人保持運(yùn)動(dòng)狀態(tài)，且是前后移動(dòng)，在沒(méi)有深度信息的輔助下，機(jī)器難以判斷出兩個(gè)人的位置關(guān)系，把球放置在二人中央。所以你會(huì)看到，球時(shí)不時(shí)從人體內(nèi)「穿」過(guò)的詭異畫(huà)面。 

 

 

而加入了 LiDAR 之后，通過(guò)測(cè)量出照片的深度系統(tǒng)，將游戲里的 3D 模型附著在地面、桌面等平面上，并分析整個(gè)攝像頭視野內(nèi)的空間位置關(guān)系來(lái)動(dòng)態(tài)調(diào)節(jié)模型的光照和陰影，使游戲體驗(yàn)更加真實(shí)。

 

當(dāng)這些人物從你面前跑過(guò)，將帶來(lái)身臨其境的體驗(yàn)，并且通過(guò)機(jī)器學(xué)習(xí)算法的加持，AR 應(yīng)用能更清楚地知道攝像機(jī)視野里的是你家的沙發(fā)還是地面，從而將草地附著到沙發(fā)腳的位置，與你所處的位置達(dá)到前所未有的契合。

 你可能意識(shí)到了，手機(jī)前置的 Face ID 也能構(gòu)建 3D 圖像，它與 LiDAR 有什么區(qū)別？  

 

 

 從紅外攝像機(jī)拍攝到的光斑可以看出，F(xiàn)ace ID 的結(jié)構(gòu)光傳感器通過(guò)點(diǎn)陣投影發(fā)射出超過(guò) 3 萬(wàn)個(gè)不可見(jiàn)的光斑，利用扭曲建模，制作出一張準(zhǔn)確的面部深度圖，從而將 2D 的圖像轉(zhuǎn)換為帶有深度信息的 3D 圖像。受距離所限，只能進(jìn)行小范圍的 3D 繪制，用于人臉識(shí)別。 而 LiDAR 的光斑較大且疏，更適合用來(lái)對(duì)整個(gè)房間進(jìn)行掃描和建模。 

 

 LiDAR 能讓你的手機(jī)在 AR 應(yīng)用中獲得更好的體驗(yàn)，在家里放一把椅子，它比你的雙目還要更精準(zhǔn)地知道椅子離地面多遠(yuǎn)、離墻壁多遠(yuǎn)。 

椅子嵌進(jìn)墻里或是立在墻面的畫(huà)面，再也不會(huì)出現(xiàn)了。

 

（來(lái)源：回形針PaperClip ，作者葉航宇）