近眼顯示光學專(zhuan) 家卡爾·古塔格（Karl Guttag）早前體(ti) 驗了AR眼鏡廠商EyeWay Vision的產(chan) 品，並撰文對其注視點激光掃描顯示器進行了分析，包括優(you) 點、缺點和挑戰。下麵是映維網的第一部分整理：

1. 介紹

我早前曾前往聖何塞參觀體(ti) 驗EyeWay Vision的產(chan) 品。這家公司製定了一個(ge) 雄心勃勃的計劃來嚐試解決(jue) AR中的一係列重要問題。團隊正在開發一種基於(yu) 雙激光束掃描（Laser Beam Scanning，LBS）的直接視網膜投影注視點顯示器。根據論文和專(zhuan) 利，蘋果、Facebook和微軟都在LBS注視點顯示器方麵投入了大量精力。

EyeWay的原型係統

我事先已經知道原型相當巨大且功能有限，因為(wei) 幾個(ge) 關(guan) 鍵方麵依然在開發之中。最重要的是，目前原型屬於(yu) 將“固定注視點”和眼動追蹤整合在一起的過程中。EyeWay有一個(ge) 單獨的眼動追蹤演示，並計劃在今年下半年將視網膜追蹤與(yu) 注視點圖像運動相結合。

就在我出發前不久，我詢問EyeWay是否可以拍照，團隊表示我可以（這給我留下了深刻的印象）。最後，由於(yu) 機械限製需要從(cong) 原型中移除一個(ge) 零件，所以我無法拍出最好的照片。EyeWay提出用原型重新拍攝照片，然後寄給我未經修改的照片。我本人可以確認所述照片與(yu) 我親(qin) 眼所見，以及我用自家相機拍到的一致。

原型的目的是展示相關(guan) 技術方法的潛力。這有點像是研發項目的幕後一睹。和之前所有的文章一樣，大多數圖片都可以點擊查看更大、更高分辨率的版本。

2. EyeWay與(yu) Hololens 2的快速比較

我首先想指出的是，根據定義(yi) ，注視點顯示器通過將“注視點顯示器”移動到眼睛中心凹在任何時刻瞄準的任何位置，以這種方法來欺騙眼睛看到高分辨率圖像。當你拍攝注視點顯示器的照片時，相機會(hui) 捕獲單個(ge) 高分辨率注視點圖像、過渡/混合區域、以及低分辨率外圍圖像。

我同時想說的是，我親(qin) 眼看到過一係列不同的LBS生成圖像，包括前置投影儀(yi) 和近眼頭顯。對於(yu) LBS生成圖像，注視點圖像的圖像質量令人印象深刻，並且比大多數AR應用程序所需的圖像質量要好。

下麵是EyeWay原型和HoloLens 2以相同比例拍攝的相同畫麵的照片。在這兩(liang) 種情況下，左眼都在注視點區域中央。

可以看到，不僅(jin) 是EyeWay的注視點區域圖像在各方麵都要優(you) 於(yu) Hololens 2，甚至EyeWay的外圍圖像看起來都更好。請注意，你在Hololens 2圖像中可以看到掃描線，而EyeWay原型的兩(liang) 個(ge) 區域都不可見。

我將在以後的文章中討論EyeWay的圖像質量，但我想讓你快速體(ti) 驗一下。

3. 有趣的演示內(nei) 容

在深入探討技術要點之前，我想首先評論EyeWay的演示內(nei) 容。由於(yu) 激光的掃描過程，用靜止相機或攝像機無法很好地捕捉到實時飛龍的動畫。即使注視點顯示器目前為(wei) 固定，你都可以移動顯示器來查看任何選擇區域的細節。

遺憾的是，這是你必須親(qin) 眼感受的演示內(nei) 容之一。

我同時希望指出的是，EyeWay的部分演示內(nei) 容展示了看出窗外的圖像，以證明在需要時顯示器可以非常明亮。

4. 追逐“聖杯”

EyeWay嚐試解決(jue) AR中眾(zhong) 多不同但相互關(guan) 聯的問題。可以說，他們(men) 正在追逐一個(ge) 能夠同時解決(jue) AR大部分已知問題的聖杯。

高分辨率和寬視場（FOV）

非常亮（支持超過10000尼特）以支持室外使用，非常暗（約1尼特）以支持夜間使用

隻投射到視網膜而不是眼睛周圍（效率和形象問題）

高度精確地追蹤視網膜而不僅(jin) 僅(jin) 是角膜

高效，同時支持大眼球運動

低功耗同時支持高亮度

解決(jue) 視覺輻輳調節衝(chong) 突（VAC）

小而輕，同時支持以上所有要點

EyeWay目前離目標依然有很長的路要走，但正在用有趣的技術來解決(jue) 一些重要的問題。團隊使用激光掃描的顯示方法迫使他們(men) 解決(jue) 可能是最困難的問題：即在一個(ge) 可用的顯示器中實現精確的眼動追蹤。

5. 注視點顯示器背景

簡單地說，不同於(yu) 相機，人類視覺的工作原理不是用大小/分辨率都相同的像素陣列來拍攝一張快照。

眼睛隻有一個(ge) 非常小的區域具有高密度的錐體(ti) 細胞以支持高分辨率和辨別顏色。下麵的圖表顯示了視網膜的中心區域（左），視錐細胞在眼睛中的物理分布（中），以及相對視敏度（右）與(yu) 中央凹中心的夾角。視力最高的中央凹僅(jin) 占眼底3度左右。如視力表所示，人類的視力從(cong) 中央凹的中心急劇下降。

眼睛不斷地以一係列名為(wei) “掃視”的跳躍式運動進行移動。人類的視覺係統在掃視之間掩蔽，我們(men) 將這一過程稱作掃視掩蔽（Saccadic Masking）（這裏是一個(ge) 關(guan) 於(yu) 掃視掩蔽的3分鍾視頻）。然後，人類視覺係統通過在每次掃視時以不同的分辨率將一係列“快照”拚接在一起，從(cong) 而建立起人們(men) 所看到的畫麵。這是一個(ge) 非常複雜的過程，大多數時候無法察覺。

真正的注視點顯示器具有一個(ge) 高角度分辨率的“注視點投影儀(yi) ”，它可以移動/追蹤眼睛的掃視。注視點投影儀(yi) 總是以中心凹為(wei) 中心呈現高分辨率圖像，但中心凹非常小。然後它同時具有至少一個(ge) “外圍投影儀(yi) ”，外圍投影儀(yi) 視場更寬，但角度分辨率較低。如果實現正確，人眼應該能感知到一個(ge) 單一的、非常高分辨率的顯示畫麵。

6. 雙激光束掃描（LBS）直接視網膜投影

EyeWay有兩(liang) 個(ge) LBS投影儀(yi) ，每個(ge) 投影儀(yi) 具有名義(yi) 相同的SVGA（800×600像素）分辨率。但當它們(men) 都投射到視網膜上時，注視點投影儀(yi) 不僅(jin) 以高分辨率覆蓋了小小的中心凹區域，而且它支持可變焦。

7. EyeWay的注視點投影儀(yi) 不是“麥克斯韋式”，與(yu) 其他LBS投影儀(yi) 不同

經典的激光束掃描投影儀(yi) 屬於(yu) “無焦點”，不需要光學元件就能看到圖像。不需要光學聚焦的投影儀(yi) 被稱為(wei) “麥克斯韋顯示器”。為(wei) 了更好地討論麥克斯韋顯示器，我建議你下載《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》這篇研究文章。盡管麥克斯韋顯示器通常與(yu) 激光束掃描有關(guan) ，但正如論文指出，其他形式的顯示器同樣可以是麥克斯韋顯示器（見下圖）。

應該注意到，盡管HoloLens 2使用LBS投影儀(yi) ，但當它通過波導的光瞳擴展時，它就不再是麥克斯韋（包括無焦點）。

麥克斯韋顯示器無焦點，高度準直，如果光束遇到任何障礙，它會(hui) 投射非常銳利的陰影。

幾乎所有30歲的人都存在“飛蚊症”（懸浮在玻璃體(ti) 中的無害物質）。除非有人能夠眼睛發光，否則它們(men) 大多不會(hui) 被注意到。遺憾的是，當麥克斯韋投影儀(yi) 射入眼睛時，這種漂浮物會(hui) 變得非常明顯。我在其他直接視網膜激光掃描顯示器看到過這個(ge) 問題，包括QD Laser的RETISSA、North Focus、以及Bosch在CES 2020大會(hui) 展示的激光AR眼鏡（見下圖）。

盡管EyeWay的外圍顯示器屬於(yu) 麥克斯韋，而且當我從(cong) 中心看向別處時，我可以看到眼睛的漂浮物，但注視點顯示不是麥克斯韋。我在注視點圖像中看不到任何漂浮物。

注視點圖像沒有漂浮物證明EyeWay的方法與(yu) 其他激光掃描投影儀(yi) 非常不同。

另外，EyeWay可以控製注視點投射器的視焦點，以緩解視覺輻輳調節衝(chong) 突。

8. 視窗（Eye Box）比瞳孔小

麥克斯韋近眼顯示器的傳(chuan) 統的問題是（特別是視網膜激光掃描），投影圖像要麽(me) 進入瞳孔，要麽(me) 完全丟(diu) 失。所有其他顯示類型都通過生成一個(ge) 大視窗來避免這個(ge) 問題，這樣無論眼睛相對於(yu) 眼鏡移動到哪裏，圖像都是可見。

但產(chan) 生一個(ge) 大視窗意味著絕大多數的光都被浪費，因為(wei) 唯一重要的光是進入瞳孔的光。在社會(hui) 形象方麵，當一個(ge) 人的眼睛區域亮著的時候，這不僅(jin) 僅(jin) 隻是有點奇怪。在軍(jun) 事應用中，夜間點亮眼睛會(hui) 暴露士兵的位置，而這一點更為(wei) 重要。

使用直接視網膜激光掃描的North Focals存在一個(ge) 問題：每套眼鏡都需要定製，但即使這樣都很難看到圖像。North包括一個(ge) 4向光瞳複製器，盡管這意味著你有四個(ge) 方向可以看到圖像，但同時意味著你可以看到殘影和重影。

《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》通過使用一組龐大的分束器來將4向調到9向。下麵的圖片來自相關(guan) 視頻中的一係列靜止幀，它們(men) 顯示了複製圖像與(yu) 瞳孔對齊的效果。

EyeWay的方法消除了通過追蹤眼睛產(chan) 生比瞳孔大的視窗的需要，如下麵的短片所示：

盡管微軟的HoloLens 2使用激光束掃描，但它不是波導後的麥克斯韋。他們(men) 的衍射光柵波導大量複製了輸入光瞳，並創造了一個(ge) 類似於(yu) WaveOptic波導圖的大視窗。

9. EyeWay的雙掃描注視點顯示器

下圖是從(cong) 包含整個(ge) 中央凹區域和外圍區域的圖像中心部分的裁剪。在這張特殊的照片中，掃描過程中的消隱滾動條（被相機捕捉到，但人眼看不見）恰好在中央凹區域的垂直部分被兩(liang) 個(ge) 掃描過程捕捉到。消隱可允許你看到顯示對組合圖像的貢獻。

注視點圖像，包括注視點和外圍圖像都明顯的過渡區域，以大約60像素/度（每像素1弧分）覆蓋大約12度乘6.6度。然後，外圍顯示器水平覆蓋約44度，垂直覆蓋約25度（對角線覆蓋約50度），每度覆蓋約18像素（約3.3弧分/像素）。

與(yu) Varjo在AWE 2019展示的AR顯示器相比，EyeWay的注視點圖像大約是其水平和垂直角度大小的1/2。包括過渡混合區在內(nei) ，Varjo顯示器的注視點部分約為(wei) 21度（H）x 13度（V）。但Varjo的透視AR屬於(yu) “固定注視點”。

Varjo在2017年談到了眼動追蹤注視點顯示器，但最終在2018年推出了一款帶有透視AR的“固定注視點”（不是移動高分辨率中心區域）顯示器，。EyeWay的方法具有較小的注視點顯示器，並且取決(jue) 於(yu) 注視點顯示器追蹤視網膜，以防止用戶注意到注視點區域到外圍邊界的過渡。

EyeWay要求眼睛跟蹤，這不僅(jin) 是為(wei) 了支持注視點顯示器，同時是為(wei) 了幫助圖像進入眼睛瞳孔。EyeWay別無選擇，隻能解決(jue) 精確的眼動追蹤問題。與(yu) Varjo不同，EyeWay不能回到固定注視點顯示器。

10. 視網膜追蹤而不是瞳孔追蹤

將眼動追蹤與(yu) 激光掃描視網膜投影儀(yi) 結合使用的概念至少可以追溯到湯姆·弗內(nei) 斯（Tom Furness）在1995年的的一項專(zhuan) 利（已過期）。

EyeWay向我演示了他們(men) 的視網膜追蹤，但它是由實驗室儀(yi) 器顯示，尚未控製注視點投影圖像。

大多數其他眼動追蹤努力隻考慮角膜和虹膜。Facebook的邁克爾·亞(ya) 伯拉什（Michael Abrash）曾就注視點顯示器的眼動追蹤問題、精度需求、以及角膜和虹膜追蹤問題進行了3分鍾的精彩討論。

Facebook Reality Labs定期在論文和視頻中討論與(yu) 光瞳控製相關(guan) 的問題，通過眼動追蹤用一個(ge) 小視窗投射到視網膜。

Facebook Reality Labs曾多次討論眼動追蹤和注視點顯示器。Facebook Reality Labs的顯示係統研究總監道格·蘭(lan) 曼（Doug Lanman）在SPIE AR/VR/MR 2020大會(hui) 的一段視頻中討論了與(yu) 光瞳轉向相關(guan) 的問題，並在2019年的論文中引用了視頻中的參考資料。這裏的一個(ge) 關(guan) 鍵點是，基於(yu) 注視點激光掃描的顯示器獲得了Facebook AR Research的大量關(guan) 注。我應該指出的是，EyeWay自2014年公司成立以來就一直致力於(yu) 這項技術。

EyeWay指出，他們(men) 使用了兩(liang) 個(ge) 注視點追蹤鏡，而不是一個(ge) ，正如2017年Vajro的評論和Avegant所示。EyeWay指出，兩(liang) 個(ge) 轉向鏡可支持4個(ge) 自由度，並能更好地追蹤眼睛。

EyeWay的解決(jue) 方案通過追蹤視網膜來將眼動追蹤提升到一個(ge) 新的水平，從(cong) 而實現對注視點顯示器必需的精度。EyeWay的眼動追蹤利用多個(ge) 階段進行追蹤，而最精確的階段通過移動注視點圖像的相同路徑來追蹤視網膜。

11. 許多公司正在研究注視點顯示器

注視點顯示器的基本概念相當久遠，許多公司曾經在VR和AR方麵進行過嚐試。僅(jin) 舉(ju) 幾個(ge) 例子，下麵是微軟、Avegant、蘋果和Varjo的注視點顯示器概念集。如上所述，Facebook多年來一直在探索注視點顯示器、眼動追蹤和視網膜激光掃描領域。

我沒有時間詳細介紹每種方法，但我想指出的是，所有從(cong) 事AR的巨頭和一係列初創公司都在考慮是否采用包含或不包含激光掃描的注視點顯示器。

有趣的是，微軟和蘋果都展示了上述的激光掃描方法，並且必須借助半反射鏡或全息鏡反射。Avegant是唯一一家研究基於(yu) 波導的注視點顯示器，而Varjo則專(zhuan) 注於(yu) 透視AR，所以光學方麵要簡單得多。

當Varjo在2017年談到追蹤眼睛的時候，我沒有看到一個(ge) 注視點顯示器移動。他們(men) 提供的設備和我看過的任何演示都采用“固定注視點顯示器”，高分辨率注視點區域不動。當眼睛中心保持在30度左右，這種固定顯示器在大部分時間內(nei) 都能正常工作。