視覺對人類來說是如此重要，以至于你大腦幾乎一半的能力都致力于視覺感知。.毫不奇怪，Meta，微軟和蘋果等超大規模公司押注增強/虛擬現實（AR / VR）——從增強視覺開始——成為新的機器-人機界面。由于我們的眼睛是僅次于大腦的第二復雜的器官，因此AR / VR取代個人電腦和智能手機是有意義的。然而，電子學（大腦）和光學（眼睛）仍然存在許多技術障礙。在我關于成像設計趨勢的第一篇博客文章中，我討論了數字孿生將如何通過成像系統的端到端仿真（從制造和測試到用戶體驗虛擬化）促進大規模定制和數據優化。在這篇博文中，我將重點介紹AR/VR如何推動成像設計的創新。 任何認為數字孿生只包括機械、熱或電氣組件的人都不需要AR/VR系統來開發顛覆性的光學智能成像系統。

什么是成像系統，它們如何在AR/VR系統中使用？

成像系統用于各種應用中的觀察、圖像捕獲或圖像顯示，包括太空探索、工業 5.0 的機器視覺、國防和安全、娛樂、輔助駕駛、計算機和智能手機。成像系統通常由相機和顯示器以及成像鏡頭組成。它們可以是獨立的單元或模塊化組件組件。

數字化在20年中期進入我們的生活千世紀。第一個機器人機界面（MHI）是只有專家才能使用和交互的大型計算機。在 1970 年代后期，第一臺個人電腦在智能手機進入我們的口袋之前就進入了我們的家庭。預計MHI的下一次革命將是AR / VR系統 - 抬頭和免提。目前還沒有人能夠預測未來MHI的確切形狀，但要使它們無縫和邊緣，而不是連接到云，面臨著巨大的挑戰。

完美的沉浸式環境仍然是虛擬現實的夢想。無處不在的無縫疊加是增強現實的挑戰。不要忘記價格、整體性能（圖像質量、電源效率）和人體工程學方面的多重限制。有朝一日，AR/VR系統可以像隱形眼鏡一樣輕巧、無縫和高效——不會分散你的注意力，而是通過在視野中的精確位置提供量身定制的信息來加強注意力。

正如我們的大腦和眼睛是兩個主要器官一樣，計算芯片和成像系統是未來AR / VR MHI的核心。遵循摩爾定律，半導體生態系統幾十年來一直在努力使計算芯片小型化。因此，今天的智能手機具有 1970 年代超級計算機的計算能力。光學電子行業必須付出同樣的努力，為AR/VR系統實現小型化、數字化和智能成像系統。

成像系統小型化

今天只需 1 美元，您就可以購買一套八個自由曲面塑料鏡片，這些鏡片可以放入不到千分之一英寸的尺寸。1.這套復雜的鏡頭是通過優化一千多個參數設計的。CMOS圖像傳感器和計算機視覺芯片也已經小型化和改進，每個智能手機都有不少于四個攝像頭：它們比二十年前的第一臺數碼相機拍攝的圖像更好，后者擁有超過一百萬像素和笨重，復雜的鏡頭。

顯示器也變得越來越小，以至于我們的下一個MHI不僅可以在我們的眼睛上，還可以在我們的眼睛里。像MOJO Vision這樣的公司正在開發顛覆性的小型系統，可以安裝在隱形眼鏡上，乍一看是看不見的。這種仿生眼由一個比一粒沙子還小的顯示器組成，該顯示器將其發射引導到我們眼睛最敏感的部分 - 中央凹 - 那里是光感受器數量和密度最高的部分。更高版本將包括處理器、眼動追蹤傳感器和通信芯片。一個微小的電池也可以為整個設備供電。

成像系統走向數字化

與幾十年前的電子產品類似，今天的光學器件主要是模擬的。光學系統由復雜的笨重表面、成堆的薄膜或連續的形狀組成。直到最近，才出現了這種傳統方法的替代方案。扁平光學器件的出現是為了創造納米結構器件（具有小于波長的特征），能夠復制光學功能，如聚焦、濾色和反射。該技術的主要優點是其緊湊性、多功能性和與半導體工藝的兼容性，為光學和電子協同集成釋放了新的可能性。要使這項技術成熟，需要克服許多障礙。材料和半導體工藝領域的領導者，如應用材料公司，正在利用他們的專業知識幫助推動扁平光學技術進入各種批量市場。

每個光學元件都將從模擬過渡到數字。全數字成像系統將以更敏捷和更具體的方式收集或顯示圖像。注視點相機或顯示器是如何以更定制和更有效的方式使用像素化成像系統的一個例子，將詳細的視覺信息精確地帶到必須處理的地方，而使其他區域分辨率較低。從某種意義上說，數字成像系統將模仿我們的眼睛的功能。

面向未來的設計：成像系統智能化

我們大腦的一半處理視覺信息。同樣，成像系統必須變得智能，這意味著光學和電子必須共同設計、共同優化，甚至可能共同制造。

成像系統由收集光線的傳感器、將原始傳感器信號傳輸到處理單元的轉換器以及對數字信號進行后處理以做出決定的計算機視覺單元組成。每個組件都由不同的團隊單獨設計，并采用各種技術制造。

近傳感器或傳感器內計算是更具創新性的成像系統的主要趨勢，這些成像系統具有優化的能耗、低延遲和更高的安全性。例如，CMOS圖像傳感器可以由平面片上系統組成，該片上系統集成了光電二極管陣列、脈沖調制電路和簡單的ADC轉換器，以便在傳感器層附近或傳感器層中具有前端處理單元。其他方法可能包括一種解決方案，其中光學器件、傳感器和算法聯合優化，然后相互配合使用，作為獨特成像問題的解決方案：識別物體做出決定與拍攝紀念品照片不同，視頻監控攝像機應該不同于眼動追蹤攝像機。顯示引擎也可以變得如此智能和完全優化，以至于我們甚至可能不需要構建中間圖像來渲染真正身臨其境的內容。

下一代成像系統有望擴展AR / VR技術，使其能夠取代個人電腦和智能手機。對于光學行業來說，這是一個激動人心的時刻，尤其是對于智能成像系統設計的催化劑生態系統。

審核編輯：郭婷