用于XR頭顯的眼動追蹤技術正在迅速發展。追蹤眼動和確定用戶注視方向的一種技術包括分析指向用戶眼睛和從用戶眼睛反射的紅外光信號。例如,頭戴式顯示器可以配備一個或多個紅外光源,從不同的方向向用戶的眼睛發射紅外光。從用戶眼睛反射出來的紅外光(閃爍)可以由傳感器檢測到,并用于確定用戶眼睛的XYZ位置和注視方向。
為了提高紅外眼動追蹤系統的準確性和處理能力,通常需要在用戶的眼睛周圍放置幾個不同的紅外光源,以在角膜產生不同的閃爍。
遺憾的是,傳統的XR系統在紅外光源可以定位方面存在一定的限制。特別是,傳統系統歷來將紅外光源定位在頭顯的外圍邊緣或其他安裝了實際顯示透鏡和屏幕的結構中。這種紅外光源的外圍位置并不總是最佳,并且需要使用更多的光源和/或更大、更強大的光源。如果光源可以相對于用戶眼睛的虹膜放置得更近或更優,則不需要使用其他光源。
有XR系統嘗試將紅外光源放置在遠離顯示屏邊緣的位置,并放在用戶視場之內以靠近眼睛。但這種類型的現有系統存在問題,因為它們會對混合現實環境的用戶視角造成視覺障礙。特別是,現有的紅外光源通常尺寸在1.0毫米至4.0毫米直徑/寬度范圍內。這樣的尺寸非常明顯,特別是當定位在用戶視場中時。至少出于這個原因,大多數傳統系統只將紅外光源定位在透鏡/顯示器外圍邊緣的次優位置。
鑒于這個問題,微軟名為“Microled based invisible illumination for eye tracking”的專利申請中提出了一種解決方案。特別是,微軟表示所述發明允許紅外光源以相對于用戶眼睛/虹膜和相應攝像頭傳感器的最佳方向直接定位在頭顯透鏡的查看區域之內,同時不會妨礙用戶對混合現實環境的感知。
這家公司指出,方法是利用具有在任何給定方向小于100 μm的紅外μLED的照明透鏡結構,因為即便嵌入到頭顯的透鏡中,用戶都無法感知到這種uLED,所以在使用過程中不會阻礙或干擾頭顯對混合現實環境的呈現。
現在將注意力轉向圖1,頭顯配置為根據由攝像頭130或其他傳感器捕獲的光反射(閃爍)執行眼動追蹤。例如在使用過程中,光圍繞著用戶眼睛的光源發出(。光線發出后,閃光從用戶的眼睛(特別是用戶的虹膜)反射,并由攝像頭檢測到。
根據感知到的光的強度/強度,相對于光發出的光源/時間,頭顯光處理模塊可以檢測用戶眼睛/虹膜的定位(相對位置和方向)。
系統攝像頭/傳感器捕獲的圖像的額外處理可用來區分用戶的瞳孔和虹膜。這種圖像可以幫助系統繪制用戶眼睛的位置和用戶眼睛相對于投影全息圖或其他對象的方向/注視。系統同時可以利用戶眼睛的位置來支持混合現實環境,在所需位置定位和重新投影全息圖。
圖2示出用戶眼睛200的表示,其中紅外光源210向用戶眼睛200發射紅外光220。紅外光反射回來作為鏡面反射和散射反射。圖2同時顯示了如何放置攝像頭250或其他傳感器以檢測一個或多個反射。
通過光源的位置、光源發出光的時間、攝像頭的位置以及從用戶眼睛反射的檢測光反射的測量強度和時間,系統可以確定用戶眼睛/虹膜的相對定位。這是因為光線在用戶眼睛的不同部位反射的不同,例如它在角膜的瞳孔和虹膜區域的反射不同于鞏膜。這種差異的檢測和測量是基于反射是鏡面反射或散射反射。
為了光源能夠優化定位,例如靠近用戶的角膜,需要將光源定位在合適的位置。但遺憾的是,傳統的紅外光源太大(例如1-4毫米),無法在用戶的視場范圍內定位而不會對用戶通過透鏡查看環境造成阻礙。
為了幫助解決這些問題,微軟提出可以采用配置有紅外μLED的照明透鏡。通過這種配置,可以將光源最佳地放置在靠近用戶眼睛的位置,而不必考慮頭顯安裝結構的物理形狀因素所施加的現有限制。
圖3示出具有以網格方式排列的16個紅外μLED的紅外μLED透鏡結構300。紅外μLED放置在透明襯底310之上,沿著導電跡線320在陽極端和陰極端之間形成電路。例如,當電路由頭顯的電源供電時,電源可以電連接到陽極和陰極端子并由照明控制單元控制,紅外μLED將激活并發出紅外光。
紅外μLED的發光波長在790 μm ~ 1mm之間。在優選實施例中,紅外μLED發射波長約為800-900 μm的光,甚至更優選地發射波長約為850 μm的光。
圖4A-4D顯示了不同照明透鏡結構的不哦她那個紅外μLED數量不同。具體地說,在圖4A,紅外uLED的分布模式有點圓形/橢圓形,但在圖4C中有點矩形,在圖4D中有點菱形。另一方面,圖4B所示的實施例包括兩種不同的圖案,圓形/橢圓形的外部圖案和三角形的內部圖案。
另外,照明透鏡結構400A由6個紅外uLED組成,而照明透鏡結構400C和400D各由8個紅外uLED組成。照明透鏡結構400B包含19個紅外uLED。
紅外uLED的不同數量和模式可以改變,以適應不同的需求和偏好。
在圖5中,頭顯500配置有透明照明透鏡結構510,透鏡結構510具有多個紅外μLEDs 540。如圖所示,紅外μLEDs 540呈圓形分布,每個眼睛和晶狀體區域各8個。不同的紅外μLEDs 540可以選擇接在單個電路或兩個或更多不同的電路。形成電路的電跡線沒有顯示出來。
在使用期間,從紅外uLED發出的光將至少部分地指向用戶的眼睛,并且光將反射回來并由設備攝像頭530檢測到。
圖6示出一副眼鏡600的實施例,眼鏡600具有包括四個紅外uLED的第一透明照明透鏡結構610和包括八個紅外uLED的第二透明照明透鏡結構620。
這個例子用來說明頭顯的兩側不一定要有匹配/對稱的紅外uLED分布。無論紅外uLED的數量和分布如何,應當理解的是,在使用期間,從紅外uLED發出的光將至少部分地指向用戶的眼睛,并且光可以反射回來并由設備攝像頭630檢測到。
在相關實施例中,圖7所示的頭顯系統700包括具有遮陽板的透明照明透鏡結構710。在這個例子中,遮陽板的一側有數個形成圓形圖案的紅外uLED。遮陽板的另一側有四個紅外uLED,呈方形分布。
關于前面所有的例子,紅外uLED沒有顯示成比例。事實上,紅外uLED非常小(<100 μm),就像跡線的厚度一樣,如果按比例表示,它們在當前的插圖中看不出來。
同樣是因為紅外LED非常小,所以它們可以用來用紅外光照亮用戶的眼睛,并且同時定位在用戶通過的透鏡而不會阻礙用戶通過透鏡的視場。
導電跡線非常薄,寬度小于50 μm,甚至小于25 μm,所以在接近用戶眼睛使用時,它們在視覺上并不明顯,基本不可見。這種配置特別有利于使跡線能夠定位在照明透鏡結構內部。即便直接定位在用戶眼睛的前面,它使用過程中都不會妨礙用戶通過透鏡感知到的環境視圖。
圖8可視化了用于制造發明所述照明透鏡結構的制造流程。
如圖所示,制造過程包括獲得包含一個或多個紅外μLED的晶圓810。例如,晶圓810可以是通過外延生長或沉積工藝形成的外延晶圓。
圖8所示的工藝800同時包括獲得用于將紅外uLED轉移到其上的襯底820。如圖所示,執行轉移過程830以將一個或多個紅外uLED轉移到已經位于襯底820上并且在襯底上形成一個或多個不同電路827的導電跡線825。
從襯底上移除并放置在襯底上的紅外μLED的尺寸在任何方向都限制在<100 μm,所以紅外μLED的任何可測量長度的最大尺寸都小于100 μm。
紅外uLED的最大尺寸尺寸可以小于75 μm,小于50 μm,甚至小于20 μm。在一個實施例中,紅外uLED的最大尺寸尺寸約為10 μm。
跡線的寬度同樣受到限制,厚度不能大于<50 μm、<40 μm、<30 μm,甚至小于20 μm。在一個實施例中,跡線寬度約為20 μm。
圖9示出了與配置用于執行眼動追蹤的流程圖900,其中頭顯包括包含多個紅外μLED的照明透鏡,并且多個紅外μLED中的每個紅外μLED具有<100 μm的最大尺寸。
系統組件控制紅外uLED的照明,從照明透鏡中的一個或多個紅外uLED向用戶的眼睛發射紅外光。
接下來,頭顯進一步配置為檢測和處理在使用頭顯期間從用戶眼睛反射回來的紅外光的閃爍,并根據檢測和處理的閃爍確定用戶眼睛的定位。
現在將注意力轉向圖10,圖10說明了與使用多個紅外uLED制造照明透鏡結構的流程圖1000。
這包括用于獲得透明襯底,將多個跡線應用于透明背板。其中多個跡線導電,并在陽極端子和陰極端子之間形成至少一個電路。
然后,獲得紅外μLED晶圓,其包含多個紅外μLED或可單獨提取為最大尺寸<100 μm的離散紅外μLED的材料。接下來,將一組一個或多個紅外uLED以預定的模式轉移到襯底,并且使得紅外uLED電耦合到底板/襯底上的至少一個電路。
名為“MicroLED based invisible illumination for eye tracking”的微軟專利申請最初在2023年1月提交,并在日前由美國專利商標局公布。
需要注意的是,一般來說,美國專利申請接收審查后,自申請日或優先權日起18個月自動公布或根據申請人要求在申請日起18個月內進行公開。注意,專利申請公開不代表專利獲批。在專利申請后,美國專利商標局需要進行實際審查,時間可能在1年至3年不等。
文章來源:映維網
審核編輯:劉清
-
傳感器
+關注
關注
2553文章
51390瀏覽量
756566 -
led照明
+關注
關注
34文章
2656瀏覽量
143026 -
光信號
+關注
關注
0文章
450瀏覽量
27852 -
LED晶圓
+關注
關注
0文章
4瀏覽量
5674 -
MicroLED
+關注
關注
30文章
620瀏覽量
38178
原文標題:【專利】微軟AR/VR專利提出任意給定方向<100 μm紅外MicroLED照明透鏡結構
文章出處:【微信號:ZHISHIKU-Pro,微信公眾號:知識酷Pro】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論