微軟MR總監：Mesh將成為AR開發的底層架構

2021-04-01 18:43:39

字體：大中小

來源：轉載

供稿：網友

三月初，微軟重磅推出支持云計算的AR開發平臺Mesh，為普及多人跨平臺AR應用帶來可能。Mesh技術的應用場景有很多，包括遠程協作、會議、虛擬網課、社交、多人游戲、LBS AR、Metaverse、AR云渲染等等。

武林網(Vevb.com)在此前的文章中曾詳細解釋Mesh平臺的多種功能，比如：1）降低逼真AR形象開發所需的時間和資源；2）讓多人AR內容更穩定，不受延遲和跨平臺影響；3）支持更多或統一導入至AR平臺的3D文件格式；4）支持流暢同步的遠程多人AR體驗。

那么，關于這個AR云平臺還有哪些細節？到底如何使用？以及為什么微軟決定為AR開發一個專門的開發平臺？帶著這些問題，近期外媒NextReality對微軟MR總監Greg Sullivan進行了采訪。感興趣請一起來看一下，也許你們關注的一些問題可以得到解答。

NextReality：能否更加準確的描述一下Mesh的功能，以及它是什么嗎？

Greg Sullivan：簡單來講，Mesh平臺可以讓你通過逼真的虛擬形象來體驗沉浸的AR場景，為了增加3D虛擬形象的逼真感，你可能需要使用額外的傳感器/定位器。除此之外，也可以通過簡單基礎的虛擬形象來代表自己，比如微軟團隊就將AltspaceVR的虛擬形象系統移植到Azure，為企業提供更簡單的方案。

如果你是HoloLens用戶，那么便可以使用頭顯的位置追蹤和環境追蹤傳感器，體驗更沉浸的內容。此外，你還可以利用HoloLens的手勢識別功能來控制Mesh應用和虛擬形象。這是其中一種簡單的解決方案。

不過HoloLens只能定位你的頭部和手勢，并不能追蹤全身。在Mesh宣傳視頻中，曾經提到使用Azure Kinect開發者套件和傳感器來進行3D測量。HoloLens 2采用和Kinect相同的傳感器，額外的Kinect可用于追蹤全身姿態。除此之外，也可以使用搭載LiDAR傳感器的iPhone、iPad Pro等設備。

Next Reality：如果HoloLens 2，用戶如何去控制AR虛擬形象呢？

Sullivan：首先我想說明一下Mesh平臺和服務的區別，Mesh服務值得是一種開發者工具和云服務的集合，也可以看作是一種沉浸式協作云服務。就像是為Xbox開發應用，開發者利用Mesh則可以開發沉浸式、協作的MR應用，插入Mesh SDK后，便可為你開發的應用加入跨平臺多人互動功能，并在WMR、HoloLens、Oculus、PC、Mac、智能手機等終端應用。

總之，Mesh的愿景是不管你用什么設備，都能或多或少使用利用Mesh開發的功能或內容，與其他3D 虛擬終端互動。那么，如何在筆記本或是PC等客戶端實現姿態追蹤呢？

一種方式是通過鼠標來控制虛擬形象。未來，微軟將推出支持Mesh的微軟Teams版本，盡管目前還不能確定時間。

如果是在蘋果或安卓系統的手機上運行Mesh，開發者可以向根據ARCore或ARKit架構開發AR應用，然后再加入Mesh功能。如此一來，Mesh可服務于各種各樣的終端設備，讓更多人可以體驗。

Next Reality：Mesh這個名字背后有什么意思？

Sullivan：它指的并不是3D掃描技術會用到的網格，而是指一種讓人們建立聯系，帶來臨場感的底層架構。

Next Reality：Mesh的功能是否與AR協作應用《Spatial》有所重疊？

Sullivan：微軟，尤其是HoloLens發明者Alex Kipman與《Spatial》團隊有著緊密的合作關系，他認為《Spatial》只是一個應用，而Mesh是一個大規模解決跨平臺多人AR場景的平臺。而對于《Spatial》開發者來講，他們可以與微軟合作，維護Mesh平臺，與此同時也可以將更多精力和資源用于優化自身服務和應用內容的特色。

Next Reality：這是否意味著，Mesh的誕生，讓更多開發者可以開發像《Spatial》那樣的應用。

Sullivan：是的，而《Spatial》團隊比其他人先一步開始，他們已經有清晰的價值定位。也就是說，他們可以將更多精力用于優化服務和內容，解決更多問題，幫其他開發者探路。

Next Reality：Mesh是不是更像是AR的瀏覽器，可以讓大家開發多種不同的AR“網頁”（內容）？

Sullivan：Mesh差不多就像是一種底層標準，為開發者們提供底層基礎問題的解決方案，讓他們可以將更多精力用于進一步開發和優化。

Next Reality：Mesh的收費標準是什么？是否分為開發者、專業、企業等不同等級？推出計劃是什么？

Sullivan：Mesh SDK將免費供開發者使用。

Next Reality：既然Mesh支持云端服務，那么應該會有一些相關收費吧？

Sullivan：差不多，不過目前還未公布任何相關細節。目前，通過向開發者提供Mesh預覽版，就是為了收集反饋，通過開發者的各種創意，幫助我們了解Mesh潛在的使用方法。

Next Reality：Mesh和Azure都是與云計算相關的服務，那么他們的區別是什么？

Sullivan：實際上，Mesh屬于Azure中的一種服務，是一種基于Azure技術的沉浸式協作開發平臺。Mesh會用到Azure的遠程渲染，以及身份管理、安全保護等企業級功能。

Next Reality：可以談談微軟對于《Altspace VR》的規劃嗎？

Sullivan：很多人說，現在終于明白為什么微軟要收購《Altspace VR》了，它確實有很多應用場景，比如虛擬人像等等。而這還只是開始，未來還將有更多發展。對于微軟來講，從Kinect開始Alex Kipman就一直在構思虛實結合的長遠目標，因此多人AR是微軟的戰略之一。隨著技術逐漸成熟，終于決定推出Mesh預覽版，將WMR、HoloLens等等一系列硬件平臺聯系起來，實現可供更多人分享的虛擬場景和內容。

總之，多人協作一直是微軟的戰略之一，從推出Kinect開始，然后推出HoloLens、HoloLens 2、云服務、Azure、Spacial Anchor、Remote Rendering等等一系列功能。同時，這些功能也是Mesh平臺的一些核心功能，在微軟逐步推進后不斷完善。實際上，在今年MWC上微軟就計劃展示Mesh，不過由于疫情原因會議取消了，于是經過一系列優化后，終于正式發布。

Next Reality：作為微軟AR業務多年從事者，這些年都獲取了哪些經驗，或許可以啟發未來的AR應用？

Sullivan：郵件、視頻解決了遠程辦公的許多問題，可以看到科技在提升人們工作的方式。不用通勤就能上班，為生活帶來很大改變，而AR技術將有望進一步優化遠程辦公，模擬面對面辦公的沉浸感和臨場感。經過去年的疫情，AR與遠程辦公得到了加速發展，不過這些技術本身也是注定會實現。

上一篇：李彥宏：百度汽車最遲2024年量產 Apollo將高速增長

下一篇：小米自研芯片曝光：5G頻段今年發布