工業(ye) 機器視覺、機器人、人工智能技術的發展正配合著政府的智能製造計劃向前推進，圖像傳(chuan) 感器是其中的關(guan) 鍵技術，其在工業(ye) 中的應用很廣，包括智能交通、高端安防監控、電影拍攝、醫療影像、生物識別、天文相機，以及常見的機器視覺在工業(ye) 自動化生產(chan) 的應用，不同的應用對圖像的分辨率、清晰度、噪聲、以及相機的幀率、係統成本等都有不同的要求，同時工業(ye) 中人工智能應用的發展給圖像傳(chuan) 感器帶來了更高的挑戰，包括推動了全局快門性能、高速拍攝、大分辨率、使用不可見光譜區域和三維體(ti) 積深度提供的信息進行關(guan) 鍵推斷，以及神經網絡處理的發展。安森美半導體(ti) 是工業(ye) 機器視覺的領袖之一，具備全方位的產(chan) 品陣容並不斷開發出領先的技術，解決(jue) 上述挑戰並推動創新。

高效的工業(ye) 生產(chan) 需要機器視覺給出快速又精準的決(jue) 策

在生產(chan) 線上用於(yu) 測量的相機要能快速判斷液位、尺寸，用來定位的相機係統要能快速準確的給出正確的物品位置，及時通知機械手臂在哪裏尋找抓取物品，用作計件檢驗的相機係統要能夠快速計算出數量，是否溢出，用作解碼識別的相機係統要能夠快速準確識別二維碼，字符信息等。相機係統做出快速精準決(jue) 策的關(guan) 鍵就是圖像能夠清晰準確的提供這些信息，不同的檢測應用對圖像的分辨率、清晰度、噪聲、以及相機的幀率、係統成本等都有不同的要求。

隨著工業(ye) 自動化的發展，檢測種類的多樣性，驅使圖像傳(chuan) 感器不斷的更新換代，工藝一直在突破提升。這個(ge) 發展從(cong) 安森美半導體(ti) 的幾代CMOS產(chan) 品係列中可見一斑：在2005年推出的LUPA係列開始有了高速輸出接口，接下來2010年推出的VITA係列在全局快門性能上有了很大了提升，支持卷簾快門和全局快門兩(liang) 種模式，在2014年推出的PYTHON係列增加了像素內(nei) 圖像矯正，有效的優(you) 化了全局快門傳(chuan) 感器的噪聲性能，2019年剛推出的XGS係列使用了減少節點的像素工藝對噪聲和圖像一致性更是有了飛躍般的提升，今後安森美半導體(ti) 將會(hui) 在工業(ye) 級圖像傳(chuan) 感器使用背照式和堆棧式工藝來推動圖像傳(chuan) 感器的進一步發展。

隨著工藝的提升，圖像傳(chuan) 感器的像元越來越小，但它卻可以達到大尺寸像元的圖像效果，這就使傳(chuan) 感器的分辨率可以越做越大，帶寬也越來越高，也推動了整體(ti) 相機係統的提升和發展，來滿足工業(ye) 生產(chan) 快速精確的推斷和決(jue) 策。

人工智能是新工具

快速精確的決(jue) 策需求推動整個(ge) 生態係統來實現高級數據收集和推斷，提供了真正進入工業(ye) 4.0的機會(hui) ，人工智能(AI)正是需要的新工具，用來管理工業(ye) 係統成像不斷增長的數據集。AI可以通過自適應製造、自動質量控製、預測性維護等方案有效地應對當今製造業(ye) 麵臨(lin) 的挑戰，如工廠中的PCB板檢測、鈑金缺陷檢測、食品衛生檢測、零部件均勻度檢測、平板檢測的應用中，工廠操作員的疲勞會(hui) 影響對產(chan) 品質量的一致性評估，但是機器視覺相機和深度學習(xi) 解決(jue) 了這個(ge) 問題。如今，AI已用於(yu) 60％以上的計算機視覺應用中，而AI在製造應用中的增長已超過50％年複合增長率。

工業(ye) 中AI應用的發展給圖像傳(chuan) 感器帶來了更高的挑戰，包括推動了全局快門性能、高速拍攝、高分辨率、使用不可見光譜區域和三維體(ti) 積深度提供的信息進行關(guan) 鍵推斷，以及神經網絡處理的發展。

全局快門：實現高速視覺成像的關(guan) 鍵

圖1：卷簾快門vs. 全局快門

傳(chuan) 統的卷簾快門圖像傳(chuan) 感器可為(wei) 靜態或慢速移動的物體(ti) 成像提供出色的靈敏度。但全局快門在檢測快速移動物體(ti) 的工業(ye) 應用中至關(guan) 重要。如高速裝配線的機器視覺檢測之類的任務需要準確的判斷，全局快門圖像傳(chuan) 感器通過完全同時同步曝光捕獲所有像素，來消除使用卷簾快門傳(chuan) 感器逐行曝光帶來的空間失真變形的效果，正確還原了運動物體(ti) 的真實樣子，接下來才能進行強大的AI分類計算。如安森美半導體(ti) 的全局快門圖像傳(chuan) 感器XGS2000，以220fps的速度捕獲高質量、精確和快速移動的200萬(wan) 像素全局快門圖像場景，可以為(wei) 物流和工業(ye) 掃描儀(yi) 等不同場景下應用提供清晰、低噪聲的圖像。

高速也是快速移動物體(ti) 檢測的工業(ye) 應用另一個(ge) 至關(guan) 重要點。高速裝配線的機器視覺檢查需要快速的幀率和較短的積分時間，可以使用短曝光和快速讀出消除圖像模糊的效果。工廠的視覺檢測基本都是對應高速移動的物體(ti) ，特別是工廠高速運轉的生產(chan) 線上，傳(chuan) 送帶的速度特別快，那麽(me) 在最短的時間內(nei) 成像讀出數據，減少或消除拍攝圖像中的運動模糊，才能利用AI算法實現正確的智能判斷和快速決(jue) 策。

市場對高分辨率的需求不斷增長

越來越多的應用對分辨率有了很高的需求，例如手機/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應用中，使用相機檢測顯示器的輸出，以查找顯示亮度的均勻性、顏色準確性、線條缺陷、顆粒缺陷等。這就要求檢測相機提供非常高的圖像質量和高度均勻性，以確保相機中的質量問題不會(hui) 被誤解為(wei) 顯示器中的產(chan) 品缺陷。顯示屏實際上都由紅綠藍等多個(ge) LED子像素組成，檢測係統需要能夠解析所有這些子像素，以便正確成像和顯示並確認設備的質量，為(wei) 提高檢測的精度和可靠性，行業(ye) 中通常會(hui) 使用圖像傳(chuan) 感器靶麵的3x3，或者4x4,甚至5x5個(ge) 像元來識別顯示屏設備的一個(ge) LED子像素，這就需要用到更多的傳(chuan) 感器像元個(ge) 數，並且隨著顯示器分辨率的不斷提高-從(cong) 傳(chuan) 統高清到4k到8k甚至更高，檢測相機所需的分辨率也在不斷提高，才不會(hui) 犧牲應用所需的高圖像質量和均勻性，為(wei) AI算法的精度提供更可靠的數據支持。

又如另一個(ge) 常見的工業(ye) 成像應用是印刷電路板檢測，以確認電路板組件上的集成元器件、電容器、電阻器等已正確安裝並焊接到位。電路板的檢測速度是受圖像分辨率和幀率的組合影響，圖像中能夠捕獲的電路板尺寸麵積越大，一次可以檢測的電路板就越多，圖像能捕獲的越快，檢測的效率就越高。雖然當前市場上提供的圖像傳(chuan) 感器可以每秒輸出約500或1400個(ge) 像素的數據，但是安森美半導體(ti) 的XGS45000可以以接近1900個(ge) 像素/秒的速度捕獲更多的圖像數據用於(yu) 算法判斷，比競爭(zheng) 對手快3倍以上，圖像數據寬度可以達8000個(ge) 像素。高分辨率和高帶寬的結合使這種檢測應用的AI算法可以更快，更有效地執行，從(cong) 而提高了製造過程的生產(chan) 率。

再如用於(yu) 監控或廣播的影像應用，圖像需求結合了上述性能，該應用對圖像質量的要求非常高，市場對分辨率的需求也不斷增長，從(cong) 高清到4K到現在的8k，高分辨率提供了更強大的圖像結構和細節可以看到寬視野的能力，還提供了用於(yu) AI分類的裁剪開窗的選項，來放大感興(xing) 趣的內(nei) 容。安森美半導體(ti) 的XGS45000圖像傳(chuan) 感器實際上具有比8k視頻所需的分辨率更高，不僅(jin) 可以使用少量裁切來提供8k視頻，還由於(yu) XGS45000具有很高的帶寬，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應用所需的高分辨率、高帶寬和高圖像質量。

圖2：XGS 45000的演示效果

值得一提的是，安森美半導體(ti) 也提供完整的參考設計X-Cube，基於(yu) X-class圖像傳(chuan) 感器係列，在1.1英寸光學格式提供1600萬(wan) 像素分辨率，提供用於(yu) 機器視覺和ITS的29mmx29mm工業(ye) 相機占位所需的成像細節和性能，且一個(ge) 攝像機可支持多種分辨率，幫助設計人員加快開發。

圖3：高分辨率X-Cube 係統用於(yu) 29 mm x 29 mm 相機設計

從(cong) 僅(jin) 捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區域信息

除了圖像傳(chuan) 感器的性能提升，另外更為(wei) 豐(feng) 富的成像信息的集成也可以增強人工智能的性能，逐漸成為(wei) 工業(ye) 客戶做出明智決(jue) 策的關(guan) 鍵。

通過對多種模式和AI處理的投資，也使得安森美半導體(ti) 具備獨特的優(you) 勢，從(cong) 僅(jin) 提供三種紅綠藍(RGB)組成的成像係統發展到添加詳細的光譜特征，這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數據，可以提高識別圖像的精度，從(cong) 僅(jin) 提供x、y二維定位信息到使用結合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合後帶來深度信息，可更深入地了解檢測對象的全部體(ti) 積大小高度等的信息，也就是深度學習(xi) 。

所以現在圖像傳(chuan) 感器的開發正在從(cong) 僅(jin) 捕獲RGB信息轉移到新的形式，增強的數據集提供的信息將不僅(jin) 僅(jin) 是顏色和二維位置。圖像傳(chuan) 感器的廠家都在開發新技術以獲取更可靠的深度信息或者多光譜區域信息。比如開發通過融合內(nei) 部不同數據流的SuperDepth像元技術，開發通過有規律的結構，調製入射光振幅或相位的衍射光柵技術，開發基於(yu) 單光子雪崩二極管(SPAD)和矽光電倍增管(SiPM)的傳(chuan) 感器等方式來實現為(wei) 圖像提供更多的深度信息。

或者開發基於(yu) 等離子體(ti) 波導濾波片，或以法布裏-珀羅（F-P)結構原理為(wei) 基礎的多通道分光濾光片製造技術實現在更多的光譜區域成像的超多光譜技術。

神經網絡處理

隨著人工智能的發展，分類係統設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)神經網絡處理器，因為(wei) 訓練和推理都需要大量計算，人工智能界正在麵臨(lin) 前所未有的算力挑戰，網絡拓撲需要數億(yi) 個(ge) 乘法和加法邏輯計算（MAC），需要數百萬(wan) 個(ge) 卷積神經網絡參數，就比如能實現分類/目標檢測/語義(yi) 分割等多目標任務的mobilesNetV2結構就具有3億(yi) 個(ge) MAC計算和420萬(wan) 個(ge) 參數，但這相對於(yu) ResNet微結構，已經是減少了9倍的計算量。

圖4：AI用於(yu) 機器視覺，識別水果新鮮度

訓練過程由於(yu) 涉及海量的大數據和複雜的深度神經網絡結構，需要的計算規模非常龐大，通常需要GPU或雲(yun) 去完成，推斷部署環節的計算量相比訓練環節會(hui) 少一些，但仍然涉及大量的矩陣運算，通常在邊緣的高功率GPU/TPU上執行以實現低延遲。麵對深度學習(xi) 的訓練和推斷的算力需求，市場上大部分使用的是NVIDIA的GPU或google的TPU來實現。

AI的發展

要真正實現快速決(jue) 策，AI也需要發展。如今，用於(yu) 成像的AI決(jue) 策已從(cong) 雲(yun) 過渡到邊緣再遷移到與(yu) 成像係統本身。比如把AI的訓練環節保留在GPU或雲(yun) 端，利用堆棧工藝可以將決(jue) 策或甚至與(yu) 之相關(guan) 的一些預處理集成到圖像傳(chuan) 感器上，比如在傳(chuan) 感器上集成用於(yu) 圖像識別的底層或者輕算力的卷積神經網絡層，集成具有內(nei) 存的數字矩陣乘法計算單元體(ti) 係結構。這些AI功能集成在圖像傳(chuan) 感器中都將會(hui) 實現，也已經有公司發布了內(nei) 置人工智能引擎的圖像傳(chuan) 感器芯片。

如安森美半導體(ti) 的融合了AI的水果新鮮度分類係統的演示，整個(ge) ECOsystem是基於(yu) 安森美半導體(ti) 的AR1335的相機和NVIDIAXavieredgeGPU,使用了TensorRT版本的mobilesNetV2結構來處理分類新鮮和腐爛的蘋果、橘子、香蕉等6類多達上萬(wan) 個(ge) CNN訓練參數，可以識別三種水果及其新鮮度，這個(ge) 係統的準確率達到97%以上。

小結

圖像傳(chuan) 感器的開發正在從(cong) 僅(jin) 提供RGB和二維坐標信息轉移到新的更豐(feng) 富的形式。圖像傳(chuan) 感器可提供更多類型的數據，無論是深度數據還是增加的光譜信息，以及AI合並這些數據集並實現高級決(jue) 策，從(cong) 而使係統能夠通過新的測量和決(jue) 策機會(hui) 提供更快、更準確的結果。安森美半導體(ti) 是工業(ye) 機器視覺的領袖之一，以全方位的智能感知產(chan) 品陣容和領先的技術，應對工業(ye) AI應用挑戰並推進智能製造的創新。