近眼顯示光學專家卡爾·古塔格（Karl Guttag）早前體驗了AR眼鏡廠商EyeWay Vision的產品，并撰文對其注視點激光掃描顯示器進行了分析，包括優點、缺點和挑戰。下面是映維網的第一部分整理：
1. 介紹
我早前曾前往圣何塞參觀體驗EyeWay Vision的產品。這家公司制定了一個雄心勃勃的計劃來嘗試解決AR中的一系列重要問題。團隊正在開發一種基于雙激光束掃描（Laser Beam Scanning，LBS）的直接視網膜投影注視點顯示器。根據論文和專利，蘋果、Facebook和微軟都在LBS注視點顯示器方面投入了大量精力。
EyeWay的原型系統
我事先已經知道原型相當巨大且功能有限，因為幾個關鍵方面依然在開發之中。最重要的是，目前原型屬于將“固定注視點”和眼動追蹤整合在一起的過程中。EyeWay有一個單獨的眼動追蹤演示，并計劃在今年下半年將視網膜追蹤與注視點圖像運動相結合。
就在我出發前不久，我詢問EyeWay是否可以拍照，團隊表示我可以（這給我留下了深刻的印象）。最后，由于機械限制需要從原型中移除一個零件，所以我無法拍出最好的照片。EyeWay提出用原型重新拍攝照片，然后寄給我未經修改的照片。我本人可以確認所述照片與我親眼所見，以及我用自家相機拍到的一致。
原型的目的是展示相關技術方法的潛力。這有點像是研發項目的幕后一睹。和之前所有的文章一樣，大多數圖片都可以點擊查看更大、更高分辨率的版本。
2. EyeWay與Hololens 2的快速比較
我首先想指出的是，根據定義，注視點顯示器通過將“注視點顯示器”移動到眼睛中心凹在任何時刻瞄準的任何位置，以這種方法來欺騙眼睛看到高分辨率圖像。當你拍攝注視點顯示器的照片時，相機會捕獲單個高分辨率注視點圖像、過渡/混合區域、以及低分辨率外圍圖像。
我同時想說的是，我親眼看到過一系列不同的LBS生成圖像，包括前置投影儀和近眼頭顯。對于LBS生成圖像，注視點圖像的圖像質量令人印象深刻，并且比大多數AR應用程序所需的圖像質量要好。
下面是EyeWay原型和HoloLens 2以相同比例拍攝的相同畫面的照片。在這兩種情況下，左眼都在注視點區域中央。
可以看到，不僅是EyeWay的注視點區域圖像在各方面都要優于Hololens 2，甚至EyeWay的外圍圖像看起來都更好。請注意，你在Hololens 2圖像中可以看到掃描線，而EyeWay原型的兩個區域都不可見。
我將在以后的文章中討論EyeWay的圖像質量，但我想讓你快速體驗一下。
3. 有趣的演示內容
在深入探討技術要點之前，我想首先評論EyeWay的演示內容。由于激光的掃描過程，用靜止相機或攝像機無法很好地捕捉到實時飛龍的動畫。即使注視點顯示器目前為固定，你都可以移動顯示器來查看任何選擇區域的細節。
遺憾的是，這是你必須親眼感受的演示內容之一。
我同時希望指出的是，EyeWay的部分演示內容展示了看出窗外的圖像，以證明在需要時顯示器可以非常明亮。
4. 追逐“圣杯”
EyeWay嘗試解決AR中眾多不同但相互關聯的問題。可以說，他們正在追逐一個能夠同時解決AR大部分已知問題的圣杯。
高分辨率和寬視場（FOV）
非常亮（支持超過10000尼特）以支持室外使用，非常暗（約1尼特）以支持夜間使用
只投射到視網膜而不是眼睛周圍（效率和形象問題）
高度精確地追蹤視網膜而不僅僅是角膜
高效，同時支持大眼球運動
低功耗同時支持高亮度
解決視覺輻輳調節沖突（VAC）
小而輕，同時支持以上所有要點
EyeWay目前離目標依然有很長的路要走，但正在用有趣的技術來解決一些重要的問題。團隊使用激光掃描的顯示方法迫使他們解決可能是最困難的問題：即在一個可用的顯示器中實現精確的眼動追蹤。
5. 注視點顯示器背景
簡單地說，不同于相機，人類視覺的工作原理不是用大小/分辨率都相同的像素陣列來拍攝一張快照。
眼睛只有一個非常小的區域具有高密度的錐體細胞以支持高分辨率和辨別顏色。下面的圖表顯示了視網膜的中心區域（左），視錐細胞在眼睛中的物理分布（中），以及相對視敏度（右）與中央凹中心的夾角。視力最高的中央凹僅占眼底3度左右。如視力表所示，人類的視力從中央凹的中心急劇下降。
眼睛不斷地以一系列名為“掃視”的跳躍式運動進行移動。人類的視覺系統在掃視之間掩蔽，我們將這一過程稱作掃視掩蔽（Saccadic Masking）（這里是一個關于掃視掩蔽的3分鐘視頻）。然后，人類視覺系統通過在每次掃視時以不同的分辨率將一系列“快照”拼接在一起，從而建立起人們所看到的畫面。這是一個非常復雜的過程，大多數時候無法察覺。
真正的注視點顯示器具有一個高角度分辨率的“注視點投影儀”，它可以移動/追蹤眼睛的掃視。注視點投影儀總是以中心凹為中心呈現高分辨率圖像，但中心凹非常小。然后它同時具有至少一個“外圍投影儀”，外圍投影儀視場更寬，但角度分辨率較低。如果實現正確，人眼應該能感知到一個單一的、非常高分辨率的顯示畫面。
6. 雙激光束掃描（LBS）直接視網膜投影
EyeWay有兩個LBS投影儀，每個投影儀具有名義相同的SVGA（800×600像素）分辨率。但當它們都投射到視網膜上時，注視點投影儀不僅以高分辨率覆蓋了小小的中心凹區域，而且它支持可變焦。
7. EyeWay的注視點投影儀不是“麥克斯韋式”，與其他LBS投影儀不同
經典的激光束掃描投影儀屬于“無焦點”，不需要光學元件就能看到圖像。不需要光學聚焦的投影儀被稱為“麥克斯韋顯示器”。為了更好地討論麥克斯韋顯示器，我建議你下載《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》這篇研究文章。盡管麥克斯韋顯示器通常與激光束掃描有關，但正如論文指出，其他形式的顯示器同樣可以是麥克斯韋顯示器（見下圖）。
應該注意到，盡管HoloLens 2使用LBS投影儀，但當它通過波導的光瞳擴展時，它就不再是麥克斯韋（包括無焦點）。
麥克斯韋顯示器無焦點，高度準直，如果光束遇到任何障礙，它會投射非常銳利的陰影。
幾乎所有30歲的人都存在“飛蚊癥”（懸浮在玻璃體中的無害物質）。除非有人能夠眼睛發光，否則它們大多不會被注意到。遺憾的是，當麥克斯韋投影儀射入眼睛時，這種漂浮物會變得非常明顯。我在其他直接視網膜激光掃描顯示器看到過這個問題，包括QD Laser的RETISSA、North Focus、以及Bosch在CES 2020大會展示的激光AR眼鏡（見下圖）。
盡管EyeWay的外圍顯示器屬于麥克斯韋，而且當我從中心看向別處時，我可以看到眼睛的漂浮物，但注視點顯示不是麥克斯韋。我在注視點圖像中看不到任何漂浮物。
注視點圖像沒有漂浮物證明EyeWay的方法與其他激光掃描投影儀非常不同。
另外，EyeWay可以控制注視點投射器的視焦點，以緩解視覺輻輳調節沖突。
8. 視窗（Eye Box）比瞳孔小
麥克斯韋近眼顯示器的傳統的問題是（特別是視網膜激光掃描），投影圖像要么進入瞳孔，要么完全丟失。所有其他顯示類型都通過生成一個大視窗來避免這個問題，這樣無論眼睛相對于眼鏡移動到哪里，圖像都是可見。
但產生一個大視窗意味著絕大多數的光都被浪費，因為唯一重要的光是進入瞳孔的光。在社會形象方面，當一個人的眼睛區域亮著的時候，這不僅僅只是有點奇怪。在軍事應用中，夜間點亮眼睛會暴露士兵的位置，而這一點更為重要。
使用直接視網膜激光掃描的North Focals存在一個問題：每套眼鏡都需要定制，但即使這樣都很難看到圖像。North包括一個4向光瞳復制器，盡管這意味著你有四個方向可以看到圖像，但同時意味著你可以看到殘影和重影。
《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》通過使用一組龐大的分束器來將4向調到9向。下面的圖片來自相關視頻中的一系列靜止幀，它們顯示了復制圖像與瞳孔對齊的效果。
EyeWay的方法消除了通過追蹤眼睛產生比瞳孔大的視窗的需要，如下面的短片所示：
盡管微軟的HoloLens 2使用激光束掃描，但它不是波導后的麥克斯韋。他們的衍射光柵波導大量復制了輸入光瞳，并創造了一個類似于WaveOptic波導圖的大視窗。
9. EyeWay的雙掃描注視點顯示器
下圖是從包含整個中央凹區域和外圍區域的圖像中心部分的裁剪。在這張特殊的照片中，掃描過程中的消隱滾動條（被相機捕捉到，但人眼看不見）恰好在中央凹區域的垂直部分被兩個掃描過程捕捉到。消隱可允許你看到顯示對組合圖像的貢獻。
注視點圖像，包括注視點和外圍圖像都明顯的過渡區域，以大約60像素/度（每像素1弧分）覆蓋大約12度乘6.6度。然后，外圍顯示器水平覆蓋約44度，垂直覆蓋約25度（對角線覆蓋約50度），每度覆蓋約18像素（約3.3弧分/像素）。
與Varjo在AWE 2019展示的AR顯示器相比，EyeWay的注視點圖像大約是其水平和垂直角度大小的1/2。包括過渡混合區在內，Varjo顯示器的注視點部分約為21度（H）x 13度（V）。但Varjo的透視AR屬于“固定注視點”。
Varjo在2017年談到了眼動追蹤注視點顯示器，但最終在2018年推出了一款帶有透視AR的“固定注視點”（不是移動高分辨率中心區域）顯示器，。EyeWay的方法具有較小的注視點顯示器，并且取決于注視點顯示器追蹤視網膜，以防止用戶注意到注視點區域到外圍邊界的過渡。
EyeWay要求眼睛跟蹤，這不僅是為了支持注視點顯示器，同時是為了幫助圖像進入眼睛瞳孔。EyeWay別無選擇，只能解決精確的眼動追蹤問題。與Varjo不同，EyeWay不能回到固定注視點顯示器。
10. 視網膜追蹤而不是瞳孔追蹤
將眼動追蹤與激光掃描視網膜投影儀結合使用的概念至少可以追溯到湯姆·弗內斯（Tom Furness）在1995年的的一項專利（已過期）。
EyeWay向我演示了他們的視網膜追蹤，但它是由實驗室儀器顯示，尚未控制注視點投影圖像。
大多數其他眼動追蹤努力只考慮角膜和虹膜。Facebook的邁克爾·亞伯拉什（Michael Abrash）曾就注視點顯示器的眼動追蹤問題、精度需求、以及角膜和虹膜追蹤問題進行了3分鐘的精彩討論。
Facebook Reality Labs定期在論文和視頻中討論與光瞳控制相關的問題，通過眼動追蹤用一個小視窗投射到視網膜。
Facebook Reality Labs曾多次討論眼動追蹤和注視點顯示器。Facebook Reality Labs的顯示系統研究總監道格·蘭曼（Doug Lanman）在SPIE AR/VR/MR 2020大會的一段視頻中討論了與光瞳轉向相關的問題，并在2019年的論文中引用了視頻中的參考資料。這里的一個關鍵點是，基于注視點激光掃描的顯示器獲得了Facebook AR Research的大量關注。我應該指出的是，EyeWay自2014年公司成立以來就一直致力于這項技術。
EyeWay指出，他們使用了兩個注視點追蹤鏡，而不是一個，正如2017年Vajro的評論和Avegant所示。EyeWay指出，兩個轉向鏡可支持4個自由度，并能更好地追蹤眼睛。
EyeWay的解決方案通過追蹤視網膜來將眼動追蹤提升到一個新的水平，從而實現對注視點顯示器必需的精度。EyeWay的眼動追蹤利用多個階段進行追蹤，而最精確的階段通過移動注視點圖像的相同路徑來追蹤視網膜。
11. 許多公司正在研究注視點顯示器
注視點顯示器的基本概念相當久遠，許多公司曾經在VR和AR方面進行過嘗試。僅舉幾個例子，下面是微軟、Avegant、蘋果和Varjo的注視點顯示器概念集。如上所述，Facebook多年來一直在探索注視點顯示器、眼動追蹤和視網膜激光掃描領域。
我沒有時間詳細介紹每種方法，但我想指出的是，所有從事AR的巨頭和一系列初創公司都在考慮是否采用包含或不包含激光掃描的注視點顯示器。
有趣的是，微軟和蘋果都展示了上述的激光掃描方法，并且必須借助半反射鏡或全息鏡反射。Avegant是唯一一家研究基于波導的注視點顯示器，而Varjo則專注于透視AR，所以光學方面要簡單得多。
當Varjo在2017年談到追蹤眼睛的時候，我沒有看到一個注視點顯示器移動。他們提供的設備和我看過的任何演示都采用“固定注視點顯示器”，高分辨率注視點區域不動。當眼睛中心保持在30度左右，這種固定顯示器在大部分時間內都能正常工作。
轉載請注明出處。
相關文章
熱門資訊
精彩導讀
關注我們
