最近幾年，放在攝像頭上的深度學習(xi) 研究，發展很蓬勃。相比之下， 激光雷達(LiDAR) 身上的學術進展並不太多。

可是，激光雷達采集的數據，有很多優(you) 點。比如空間信息豐(feng) 富，比如光照不足也不影響感知，等等。

當然，也有缺點。激光雷達數據，缺乏RGB圖像的原始分辨率、以及高效的陣列結構(Array Structure) 。並且，3D點雲(yun) 很難在神經網絡裏編碼。

要是能把激光雷達和攝像頭，變成一台設備就好了。

　　如何“淘汰”攝像頭？

激光雷達廠商Ouster，是領域內(nei) 獨角獸(shou) Quanergy的前聯合創始人Angus Pacala，出走之後建立的新公司。

　　△Ouster聯合創始人兼CEO

去年11月，公司推出了OS-1激光雷達，想要從(cong) 這裏開始，打破激光雷達與(yu) 攝像頭的界限。

中心思想是，隻要激光雷達的數據足夠好，就算專(zhuan) 為(wei) 處理RGB圖像而生的深度學習(xi) 算法，也可以拿來用。

Pacala說，現在OS-1可以實時輸出固定分辨率的深度圖像(Depth Image) ，信號圖像(Signal Image) 以及環境圖像(Ambient Image) 。

這些任務都不需要攝像頭的參與(yu) 。

　　△高速相對運動中，容易產(chan) 生果凍效應

數據層與(yu) 數據層之間，是空間相關(guan) 的。拍攝高速運動的物體(ti) ，也不容易產(chan) 生果凍效應(Shutter Effects) 。

另外，OS-1的光圈，比大多數單反相機的光圈要大，適合光照不足的場景。

團隊還開發了光敏度很低的光子計數ASIC，在低光照的情況下采集環境圖像。

　　△自上而下：環境、強度、範圍圖像，以及點雲(yun)

設備可以在近紅外波段捕捉信號與(yu) 環境信息，獲得的數據，跟普通可見光圖像差不太多。

這樣，分析RGB圖像用的算法，也可以處理激光雷達的數據。

小夥(huo) 伴們(men) 還可以用Ouster (剛剛進行了固件升級) 的開源驅動，把數據轉換成360度的全景動態：

　　△動圖有壓縮

傳(chuan) 感器輸出的數據，不需要預處理，就是這樣的效果。

　　數據跑一跑

就像剛才說的，隻要數據夠好，就可以用那些為(wei) 攝像頭開發的算法，來做深度學習(xi) 。

把深度、強度和環境信息，編碼成向量。就像RGB圖像可以編碼成紅綠藍通道一樣。

所以，OS-1的數據質量究竟怎麽(me) 樣？

　　△數據跑得很開心

Pacala說，他們(men) 用過的算法，和激光雷達的合作都很愉快。

舉(ju) 個(ge) 栗子，他們(men) 訓練了一個(ge) 像素語義(yi) 分類器，來分辨可以行駛的道路，其他汽車，行人，以及自行車。

這裏是舊金山，在英偉(wei) 達GTX 1060上運行分類器，實時生成了這樣的**語義(yi) 分割**效果：

　　△語義(yi) 分割：路是路車是車

這是團隊做的第一個(ge) 實現。

數據是逐像素的數據，所以能夠無縫將2D翻譯成3D幀，來做邊框估計 (Bounding Box Estimation) 這類實時處理。

除此之外，團隊還把深度、信號和周圍環境分開，單獨放進神經網絡裏去跑。

一個(ge) 栗子，用了SuperPoint項目裏預訓練的神經網絡，來跑強度和深度圖像。

網絡是在RGB圖像上訓練的，從(cong) 來沒接觸過激光雷達/深度數據。初次見麵，卻一見如故：

　　△還是語義(yi) 分割，隻是單獨跑了強度 (上) 和深度 (下) 數據

Pacala說，激光雷達測距，在隧道、高速公路這樣的規則幾何環境裏，可能不是很開心；而視覺測距，會(hui) 在缺乏**質地**變化、缺乏**光照**的情況下，無所適從(cong) 。

OS-1用多模態的方法，把兩(liang) 者結合起來，療效就不一樣。

1 + 1 > 2，這大概就是Ouster想要表達的意思。

　　還不算真正上路

2015年年初，Angus Pacala離開Quanergy。

同年，Ouster在矽穀成立。

　　△傲視群雄

2017年12月，公司宣布完成2,700萬(wan) 美元A輪融資，並同時推出了售價(jia) 3,500美元的OS-1。

腳步不算快，但也算找到了自己要走的路。

圖像語義(yi) 分割算法，初步肯定了他們(men) 的成果。

不過，融合了攝像頭屬性的激光雷達，搭載到自動駕駛車上會(hui) 有怎樣的表現，還是未知。