當我看到新版本iPad Pro 後面的鐳射雷達的時候，我就知道，從三年前就開始困擾我們的第三人稱視角的問題，即將在幾天後拆開Pad Pro包裝後，迎刃而解。

邸銳，網名遊戲開發極客。《Ogre3D遊戲開發框架指南》、《創遊記》作者，國內最早製作HoloLens 軟體定製開發的團隊遊七網路科技創始人之一。上海不加班網路科技有限公司CEO。目前專注於混合現實領域的開發平臺，物聯網平臺以及相關的技術研發。團隊承接HoloLens 2技術定製服務。

1. 史前時代 —— 早期的第三人稱視角實現方案

回顧一下，從HoloLens 1代裝置開始，我們就製作開發了大量的工商業專案，很多專案的參與者，比如領導在指點江山的時候，非常需要透過攝影裝置記錄和拍攝下整個的操作流程。這時候我們就需要提供一個重要的技術點，第三人稱視角（英文Spectator View）。

上圖是微軟提出的最早版本的第三人稱視角的實現方案，可以實現把使用者操作的虛擬物體和使用者本身投影在顯示器上的功能。這個方案我們稱之為原始方案。

整個流程就是使用者在操作虛擬物體的時候，我們透過另外一臺HoloLens來得到空間定位，然後再透過一臺攝像機得到使用者的具體動作，透過影片採集卡在一個工作站進行融合，最終渲染到螢幕上來。

這個方案對我們的困擾問題在於幾個方面：

其一是笨重，每次活動都需要帶一個三腳架攝像機至少兩臺HoloLens和一臺電腦，這是腦力工作者中的體力工作者啊，雖然每次搬運可以大幅度降低脂肪肝的等級，但還是太累到懷疑人生。

其二是超級貴，一個單反至少兩萬，HoloLens 三萬人民幣至少兩臺，主機運算能力要足夠1萬元打底，還有影片採集卡，網路路由器，一大堆線材。硬體成本至少十萬起跳，你說留給我們軟體賺錢的空間比程式猿的頭頂還稀薄，這可讓我們怎麼活。

其三是不穩定，至少初期的版本超級不穩定，每次給客戶安裝三方視角的時候都需要一個大工程來連線聯網掃描同步，經常出錯。經常會燒光客戶的耐心，如果不是鑑於我們在維護客戶價值十幾萬的硬體，可能就直接踹我臉上了。

2. 近現代 —— 早期的iPad 解決方案

這時候我們發現一個有趣的替代方案可以代替傳統的第三人稱視角。就是直接拿一個支援ARKit的 iPad 來代替所有的裝置實現。

當你想清楚這這件事情的可行性的時候，你會發現一個新大陸。AR 版本的 iPad 是完美的第三人稱視角替代方案。

iPad的AR功能代替了那臺架空的HoloLens來讀取空間資訊。iPad的攝像頭，代替了攝像機來採集使用者影像。iPad的CPU代替了伺服器來混合虛擬虛擬物體和真實影像。iPad的螢幕和airplay投影，代替了傳統第三人稱視角的顯示器。iPad的網路熱點，代替了路由器。iPad的各種無線功能，代替了所有線材。

經過半年的努力，我們團隊實現了自己的iPad版本三方視角。對於我們的實現方案，儘量不選擇複雜的技術，儘量透過Unity自帶的一些技術架構來實現。

網路連結使用了Unity內建的UNet來做，這個好處是不需要單獨配置伺服器，很簡單的程式設計就可以讓區域網的裝置之間互聯。（這裡有個隱藏的問題，就是Unity打算在未來廢除UNet的技術維護，我們這邊也找到了相應的替代方案准備移植）空間同步，使用Unity內建的vuforia來實現。空間同步演算法，我們實現了自己的空間座標系同步演算法，並申請了相關專利。

如上所見，我們實現的三方視角軟體版本，除了開發引擎Unity3D之外，不需要任何額外的額外程式庫來輔助，這也對我們的開發帶來了極大的便利。

就在我們即將商用的時候，我們驚訝地發現微軟也提供了類似的實現方案（用支援AR的手機作為三方視角），剛開始我們覺得是不是做了沒用的東西。但我們研究了微軟的實現方案之後，發現這個版本的實現方案裡面用了大量外部庫，開發起來難度非常大。這讓我們覺得，在技術選型上，這次我們領先了。

我們的iPad版本的三方視角相對於微軟版本有幾個更有價值的功能。

控制權管理：再多人操作的時候，我們透過管理物體的控制權，可以減少不同裝置之間的操作衝突。手持裝置操作：在實現上我們的手持裝置（iPad）和HoloLens 有著相同的功能，HoloLens 可以進行的操作，iPad同樣可以操作。空間座標系同步的二次糾正：我們用了三張圖片來進行空間識別，這些圖片互為糾正，這樣我們就可以實現更準確的空間同步。透過二維碼傳遞伺服器資訊，相對於微軟版本的手動輸入伺服器ip，我怕們可以一次掃描，立刻連結。更細緻的位置校準：iPad的中心位置是攝像頭，而識別位置是螢幕中心，這個誤差距離有接近10釐米左右，我們會在演算法中把這個誤差中和掉。另外就是iPad和HoloLens在移動中會有不同步間距的問題，我們也在演算法中把這個誤差給中和了。更多不同裝置的支援，我們實現了對國產裝置nreal和Action One的支援，可以讓不同裝置在這一個平臺裡面相互操作同步。

我覺得，在這一個手持裝置第三人稱視角的是線上，我們是強過微軟的版本的。這不是因為我們實力更強，而是相對於微軟的實驗室研發，我們的大部分功能是客戶罵出來的，我們用這套手持第三人稱視角實現了幾十個專案，每次都會遇到不同的問題，然後客戶罵我們，我們就解決，很多不到現場不會暴露的問題，我們可以在第一線的工作中得到比微軟更多的反饋，這也是讓我們自豪的事情。

但是如你所知，微軟在HoloLens 2釋出之後，微軟提出了基於雲計算的三方視角版本，而放棄了手持裝置版本。

手持裝置的AR不穩定，可能是微軟退出這一領域的原因之一。再加上對人物的攝影成像並不如攝像機清晰，也是我們這套三方視角被詬病的原因之一。這兩朵烏雲纏繞在我們團隊之上，久久不能散去。

3. 今天——iPad Pro 2020 完美的解決方案

iPad Pro 2020的釋出，AR鐳射雷達的使用，讓手持AR裝置第三人稱視角的實現脫胎換骨，如果說AR不穩定和成相不清晰是兩個烏雲的話，iPad Pro 2020就是吹走烏雲的東風。

我們團隊第一時間採購了一臺iPad Pro 2020，對其進行測試和調優。

我們發現基於鐳射雷達的新版本iPad Pro，其AR穩定性達到了一個幾乎變態的程度，我們可以切換出程式再進來，或者當主攝像頭旋轉。之前版本的iPad 肯定會丟失座標，但這個鐳射雷達版本不會，這樣就避免了大部分客戶的誤操作帶來的三方視角失敗。

新版本的iPad Pro標配6G運存，我們嘗試連結很多臺裝置也不會導致系統崩潰，這個是之前2G運存的iPad版本所渴望不可及的功能。

和以前模糊的影象不同，新版本的iPad可以達到1080p的攝像解析度，雖然這個解析度還是趕不上專業的攝像機，但是藉助iPad優秀的人工智慧晶片，能得到非常優秀的攝像圖片。

當然，在這時候我們的第三人稱視角的主人公已經換成了HoloLens 2代裝置。

在這裡，我們得益於微軟提供的工具庫MRTK2。和之前的版本不同，這個版本已經是一個可以跨平臺，完美運行於iOS裝置上的工具了，這讓我們可以很容易的在iPad和HoloLens 2上實現相同邏輯的操作。

4. 未來——更美好的明天更多的選擇

花開兩頭，各表一枝。

微軟藉助自己的雲服務和硬體功能，在HoloLens 2 上實現了更加面向未來的基於雲服務和新版本Azura Kinect的第三人稱視角。雖然目前還沒有看到市面上實現的相關方案，但是得益於技術的不斷進步，這個實現方案也會更加精確和快速，甚至可以透過雲儲存和雲計算實現記憶和共享的更有趣的功能，這也是我們所期許的未來。

但這樣不代表基於iPad版本的手持AR裝置第三人稱視角會被替代，iPad版本作為三方視角具有以下優勢和特點。

成本低，一臺iPad Pro只需要6000元人民幣部署攜帶方便，不需要額外的配置不需要連線網際網路，對那些不能上雲的服務格外有吸引力

在最初版本的第三人稱視角淘汰之後，不論是基於iPad Pro的手持裝置版本，還是基於kinect的雲服務版本，都會是客戶更好的選擇，我相信他們不是競爭，而是攜手服務更多的客戶，覆蓋更多的需求。

今天，我們把這些方案和工具提供到你的面前，你可以都放入你身邊的工具箱中，在不同的專案中按需使用。可能未來還會出現更多的方案。一定會有更適合你的哪一個存在。

原文連結：https：//yivian。com/news/74486。html