蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

你聽說過

Pancake

嗎？

不是最新的蛋糕品類，而是時下VR行業最受關注和期待的

光學技術

，甚至被稱為“劃時代的方案”。

據瞭解，Pancake光學方案的應用，能夠給VR帶來畫面清晰度和產品纖薄度上“質”的飛躍，極大提升了傳統VR裝置的易用性和體驗性，推動VR裝置向消費端普及邁出了一大步。

有訊息指出，VR領域巨頭

Meta

對於Pancake光學方案興趣濃厚，將在今年下半年的最新款VR產品上搭載使用；

蘋果

也一連申請了好幾個專利，其中XR系列產品就與Pancake光學方案有關；

谷歌

雖未宣傳，卻與斯坦福悄悄發了篇Pancake光學論文……

畢竟，隨著元宇宙概念的持續火熱，VR裝置憑藉其互動性被譽為元宇宙的“門鑰匙”，早已吸引各大企業紛紛加碼，不僅

微軟

等網際網路巨頭拼命收購各種VR初創企業，

英偉達

等AI公司也開始研發全息VR眼鏡。

現在，這些公司將目光放在了最新的光學技術上。

就在全球都競速落地這個Pancake光學方案時，國內一家公司YVR率先宣佈，成為全球首個正式發售“Pancake超短焦光學一體機”的企業，而這款顛覆性的產品就是

YVR 2眼鏡

。

這麼說，終於能揭開Pancake光學技術的“真面目”了？

我們趕緊搞來了一臺樣機，看看Pancake光學技術究竟長啥樣。

Pancake光學方案究竟是什麼

首先，需要知道對於VR裝置來說，為什麼

光學方案

這麼重要。

在VR裝置中，用於

顯示

的硬體分為兩部分，螢幕和光機（光學鏡頭組成）。

受限於重量，螢幕無法做得太大，必須依靠光機進一步放大渲染畫面，模擬出“另一個世界”的視覺效果。

因此，如何設計光機，便成為了降低VR眼鏡厚度、改善視覺體驗的關鍵一環。

此前，大部分VR眼鏡採用的都是

菲涅爾光學

方案，原理是將一塊凸透鏡多餘的部分“挖掉”，看起來就像一圈圈螺紋一樣，以此削減透鏡的重量。

△圖源維基百科

然而菲涅爾方案做出來的VR眼鏡仍然較厚、體積較大，原因是鏡片焦距無法被進一步壓縮。

在這種情況下，

Pancake方案

應運而生。

這一方案基於摺疊光路的原理，能極大地壓縮VR眼鏡的體積、鏡片厚度也降低了不少。

之所以能實現摺疊光路，依靠的是偏振光和偏振分光膜的原理。

Pancake光學方案利用兩個波片延遲一束偏振光的相位，製造出兩種不同的線偏振光P和S，其中線偏振光P能被偏振分光膜透過，S則會被偏振分光膜反射。

△自然光經過偏振片後會變成偏振光

具體來說，一束光經過偏振片後先射出線偏振光P，隨後經過兩次波片變成線偏振光S，再經過兩次波片又變回線偏振光P，最終被我們看見。因此，這一折疊光路並未改變光線的偏振方向。

與菲涅爾光學相比，Pancake光學方案帶來的體積改善究竟有多大？

以YVR 2眼鏡為例，整個光機的厚度僅有20mm，相對傳統菲涅爾鏡片的光機厚度，

減少了50%左右

，整機厚度則壓縮至42mm。

△菲涅爾與Pancake方案鏡片對比（後者更薄）

此外，Pancake光學方案在

清晰度

上帶來的“質變“更加驚豔。其光學解析能力相對於菲涅爾光學提升了50%，同時克服了菲涅爾光學固有的視野邊緣模糊與畸變現象，有效減少邊緣眩光，帶來了視野全域範圍的清晰體驗。

值得一提的是，YVR 2光學鏡組透過率達到了19%，高透光效能下，清晰度達到了全新水平。據悉，目前業內平均水平約為13-16%。

然而，Pancake方案並沒有聽起來那麼容易實現。

例如，目前VR/AR產品中普遍存在渲染GPU算力不足的問題。

此前，業界普遍使用

基於眼動的注視點渲染技術

（眼動追蹤光學方案）來解決這一問題。

然而傳統的眼動追蹤通常被用於菲涅爾光學方案VR產品中，無法應用到Pancake方案上。

這是因為傳統的方案往往需要額外的半透半反鏡，放在眼睛和物體影象中間用於反射一部分光線給攝像頭，以計算瞳孔距離和運動方向等。但隨著Pancake光機設計空間被壓縮，不再有位置留給傳統的半透半反鏡。

因此，為了解決這一問題，YVR在屏下眼動追蹤系統也進行了探索，除了解決GPU渲染算力不足的問題，也方便未來實現自動瞳距調節、身份識別等功能。

根據已經公開的專利，這一設計採用了屏下紅外攝像頭（1）和紅外LED（5）兩部分硬體，在不改變光機體積的情況下，實現紅外眼動影象獲取，結合螢幕背光時序避免干擾，獲取更清晰的眼部影象。

如果採用這一技術，Pancake方案VR眼鏡的畫質也能做到“看向哪兒，哪兒就更清晰”了。

當然，Pancake光學方案也還只是VR一體機的輸出“骨架”，也就是實現了“VR眼鏡”的功能。

實際很大一部分體驗感，仍舊與VR一體機上的其他自研演算法有關。

自研VR演算法是關鍵

對於VR一體機而言，要做的絕不僅僅是一個外接“顯示器”。

在YVR首席技術官費越博士看來，VR是手機等二維計算平臺進化而來的三維計算平臺，兩者之間一個重要的差異點就是，VR擁有獨特的空間感知和空間計算能力，而正是演算法賦予了VR這樣的能力。

畢竟除了視覺效果以外，VR裝置還需要在儘可能降低延遲感的情況下，準確識別身體動作，確保儘可能精準地定位、進一步提升安全性等。

這樣一來，VR需要的自研演算法就被分成了兩大類：

視覺

、

動作識別和定位

。這一階段，

YVR

自研的演算法包括

VST

、

渲染

、

追蹤

等。

首先是視覺演算法，根據不同的用途，又被分成VST和渲染技術兩大類。

其中VST，也就是

影片透視

（Video See-Through）技術，有點像是AR眼鏡的增強功能，在基於外界真實影象的畫面基礎上，疊加虛擬的畫面效果。

它會透過VR眼鏡外界的攝像頭感測器返回真實世界的影象，相當於給VR眼鏡配備了兩隻“眼睛”，最常見的場景是使用VR時和外界的互動上。

但VST技術自帶的一些問題，如延遲和畫面畸變等，則需要透過

渲染技術

來解決。

目前YVR 2已經自研了帶有3D識別和畫面矯正功能的VST技術。

他們設計了一個能

自動識別和精準定位安全邊界、平面和障礙物的框架

，分為稀疏平面模組、後端主模組和迴環檢測模組，會根據平面識別和輸入的環境點雲資料，來確定使用者使用的安全邊界，同時利用AI演算法進行障礙物識別。

這樣一來，即使使用者脫離安全邊界，VR裝置也能及時察覺到周圍環境中的障礙物併發出提醒，提升使用者安全感。

除了畫面矯正需要用到反畸變渲染以外，在降低延遲上，YVR2則採用了

ATW

（非同步時間扭曲，Asynchronous Timewarp）技術，並在自研開發

ASW

（非同步空間扭曲，Asynchronous Spacewarp）。

其中，ATW就是利用時間相干性，儘可能重用前一幀計算樣本；ASW技術則是對影象的每個畫素點進行向量運動估計，使用者移動時透過兩幀差異預測下一幀影象。

這樣一來，VR裝置就無需在實時投影的情況下處理大量影象資料，而是能確保在儘可能降低延遲的情況下，讓使用者看得清外界的物體。

此外，YVR還自行研發了動作識別和定位演算法，這裡面又包含

6DoF、SLAM

等各種演算法。

具體來說，YVR 2能夠透過vSLAM演算法來判斷“認清”使用者所處的位置、確保使用者安全，同時透過6DoF、SLAM等技術精準識別動作、判斷使用者意圖。

先來看看

SLAM

演算法，簡單來說就是同時進行定位與地圖構建，其中YVR 2以採用視覺感測器的vSLAM為主。

此前，SLAM在VR產品中的應用，主要是單人人體定位和位姿定位中，然而還無法解決多人互動的情況。我們都知道，VR裝置當然不是隻給一個人玩的，經常面臨幾個人玩一個VR、或是幾個VR同時互動的情況。

例如當一家人買了VR一起玩、或是要將VR拿到不同的地方去玩時，反覆定位和構建地圖就顯得非常麻煩。

從專利中來看，YVR已經研發了一種

多人互動的人體定位和位姿定位系統

，不僅一個VR能記憶多個地圖系統，而且多個VR也能在同一場景下實現互動。

據悉，YVR 2將於近期搭載國內首個多地圖智慧記憶功能，支援單一VR眼鏡不同空間的多防護邊界記憶，在一次設定後，再次登陸即可輕鬆喚醒邊界記憶。

除此之外，就是進一步負責定位和預測姿勢的

6DoF

技術了，它可以檢測到物體在6個方向上的移動：3個方向上的旋轉，以及3個方向上的移動。

△圖源維基百科

不過即使有6DoF技術，部分VR頭顯定位還是容易出現不準確的情況，尤其是攝像頭對著天空或地板等情況下，往往無法透過視覺演算法進行精準定位。

因此，YVR自研了一種將

RoNIN

（基於殘差網路的IMU感測器資料用於運動估計&定位）

和6DoF結合的系統

框架。

這一演算法會透過VR裝置上自帶的攝像頭提取資料，在非靜止的情況下進行6DoF估算，並結合IMU感測器輸出資料，進行

位姿預測

。

透過這一方法，即使手柄不在視覺範圍內、或雙手柄發生摺疊時，VR頭顯也能對手柄進行準確定位。

事實上，無論是視覺演算法、還是定位或識別演算法，都是VR裝置中不可或缺的核心演算法，如果缺少它們，必然會導致VR裝置功能不齊全、甚至無法使用。

正是因為在演算法側的不斷加持，YVR 2新品上市後，憑藉著革命性的體驗感最佳化得到了眾多消費者的肯定。據YVR介紹，公司做產品的

核心理念就是“站在科技和人文的十字路口，即為使用者帶來美好的體驗，做一款好看、好用、好玩的VR眼鏡”，背後深層的含義即給使用者和開發者帶來極致不妥協的產品，提供最優的效能、功能和體驗。傳遞到產品的研發和工程端，YVR工程師們的自身要求也是研發和創新最合理最先進的演算法、軟體、硬體，對技術方案不妥協，對能力不妥協。

但其實，可能會有人問，國外如Oculus等廠商已經實現過一些類似的VR演算法，為什麼國內如YVR等VR廠商，還要在這種情況下進行演算法自研？

為何國內要加碼自研VR演算法？

這裡面有幾個方面的原因。

一方面，從技術應用角度來看，當前行業對VR的需求正在不斷提升。

對於VR而言，元宇宙的到來無疑加速了它的驗證落地期。

無論是再次爆火的虛擬人、類腦演算法技術，還是這段時間被熱議的馬斯克將大腦上傳至雲端等行業熱點，都在說明下一個人機互動的時代正在來臨。

自2016年VR大火以來，伴隨著軟硬體技術不斷成熟，使用者需求逐漸從看電影、玩遊戲提升到VR裝置之間的互動上，一系列VR技術和方案自然也面臨著推陳出新。

在這種情況下，YVR公司在vSLAM、6DoF追蹤、VST等演算法領域均佈局有自研的演算法。此外，在光學、硬體、軟體、工業設計等方面也組建了專業團隊。據悉，YVR 2獲得了德國紅點獎、德國iF獎兩大國際權威工業設計獎項，成為國內唯一同時獲得這兩項榮譽的VR一體機，也證明了YVR 在多領域具有優秀的研發能力。

YVR不侷限於影音、遊戲或是娛樂社交，也在探索更多應用場景，希望賦能教育、醫療、旅遊、影視、遊戲和社交等行業。

實際上，這也是整個VR產業的發展趨勢。VR被稱為下一代計算平臺，虛擬現實產業產業更是數字經濟時代的關鍵重點產業。越來越多的人認為，VR將會改變人類互動方式，帶來全新的生產生活方式。

當下，包括醫學、工業等更多場景已經應用VR裝置，包括3D複雜結構的實時演示、甚至是臨床醫學上。

例如，據英國媒體PA Media介紹，就在這兩天，外科醫生基於醫學影像構造了一個數字大腦模型，並基於VR技術，成功完成了有史以來最複雜的連體雙胞胎分離手術。

又例如，利用VR完成複雜硬體裝置的設計和構造、甚至在3D空間中模擬裝置的執行，同樣對於工業有著實用價值。

在這種情況下，自研VR演算法已經不僅是行業需求，而是更深一步地成為科技進展的需求。

另一方面，從VR自身發展的長遠視角來看，也會涉及到生態構建和技術話語權。

從行業角度來說，作為多技術交叉領域，VR涉及的技術同樣可以被用到其他許多行業中去。

無論是SLAM、VST還是6DoF跟蹤等技術，放到自動駕駛和AR等場景中一樣適用。而最近大火的Pancake光學方案，同樣能被應用於工業機器人等場景中。

但與之相對的，是這些技術都還處在快速成長期，換而言之，當前業內玩家大部分還處於同一起跑線上，方方面面沒有現成“輪子”可用，唯有自己“造”才能跑得夠快。

在這種產業大背景下，自研演算法的價值被無限提升，這也是打破技術壟斷，實現“彎道超車”的絕佳機會。因此，只有像YVR等公司一樣，抓住這個時機自研演算法，才可能在VR以外的場景中製造更多的話語權，並將類似的技術應用到更多前沿場景中去。

從生態角度來說，這是一個難得的創新機遇，企業只有從一開始就掌握軟硬體方面的自研能力，才能在VR行業中擁有更大的自由度和自主權。

畢竟，此前中國在數次技術創新浪潮中都是跟隨者，現在有機會能夠處在同一起跑線，甚至可以領先，作為國內VR領域的重要力量，YVR也自然不應當放過這一機會。

與Meta、蘋果、谷歌等公司一樣，YVR正在透過自研演算法和技術，“讓更多人玩出夢想”。

據YVR公司介紹，他們的研發團隊涵蓋了演算法、光學、硬體、軟體、工業設計等領域，擁有全棧式自主研發能力，希望真正做出劃時代的、能夠帶來互動革命的VR產品。此次全球首發的Pancake VR一體機就是YVR交出的答卷，站在科技和人文的十字路口，YVR已經先行一步。

面對新一輪VR技術熱潮，YVR 2會有怎樣的市場表現？

我們拭目以待。