疫情背景下，Google 為了與本土開發(fā)者相聚，GDS 2020(Google 開發(fā)者大會)搬到線上，以“代碼不止”為主題，14+ 產(chǎn)品線，50+ 精彩技術(shù)演講，70+ 技術(shù)專家，6 天技術(shù)演講滿滿干貨。ARCore 壓軸出場，著重介紹了今年新推出的兩項AR領(lǐng)域的重磅功能 : Depth API(深度 API)以及持久云錨點(diǎn)(Persistent Cloud Anchors)技術(shù)，搭載引人入勝的精彩展示，帶你感受科技為生活帶來的無限可能。

　　Google 發(fā)布于2018年的 ARCore 是增強(qiáng)現(xiàn)實(shí)技術(shù)開發(fā)者的平臺，為 Android 和 iOS 用戶創(chuàng)造有效的 AR 體驗(yàn)。目前該技術(shù)已支持7億臺以上的設(shè)備，被應(yīng)用成千上萬款 APP 上，并且持續(xù)成長中。

　　11月16日的 Keynote 演講，以及11月21日的兩場會議圍繞“ ARCore 新功能”和“深度 API 實(shí)現(xiàn) AR 真實(shí)感”兩大主題，介紹了 ARCore 在技術(shù)上的新進(jìn)功能，在環(huán)境景深理解上的進(jìn)階技術(shù)探索，以及與本地開發(fā)者的創(chuàng)新合作成果。加上科技達(dá)人多角度詮釋 ARCore 技術(shù)更新及本土案例，掀起科技迷們對 AR 的新一波熱情。

　　ARCore在中國 - 越來越多開發(fā)者正在創(chuàng)新運(yùn)用

　　從 2018 年 ARCore 技術(shù)登陸中國，已經(jīng)在教育、購物、游戲等多個行業(yè)和大量開發(fā)者進(jìn)行合作。隨著 ARCore 的不斷更新，越來越多的中國開發(fā)者正在創(chuàng)新應(yīng)用這項技術(shù)，為本地用戶帶來更多新奇體驗(yàn)。

　　美圖 - 用 AR 拍出夢幻自我

　　美圖公司利用 ARCore 的增強(qiáng)臉部 API(Augmented Faces API)構(gòu)建了 100 多個自拍濾鏡，讓用戶可以在拍攝照片和視頻時體驗(yàn) AR 特效。增強(qiáng)臉部 API 提供高精度的由 468 個點(diǎn)組成的密集 3D 臉部網(wǎng)格，追蹤嘴部動作、眨眼、點(diǎn)頭和一些復(fù)雜的細(xì)節(jié)。

　　此外，新推出的瞬間放置 API (Instant Placement API) 對美圖更是如虎添翼。加上幾行代碼，通過將 AR 對象錨定到 2D 圖像中，讓用戶不需要掃描，就可以放置虛擬物件并進(jìn)行互動。

　　有道少兒詞典 - 用 AR 身臨其境地學(xué)習(xí)

　　有道少兒詞典使用 AR 打破了時空限制，讓孩子們有趣和又有效的方式學(xué)習(xí)新單詞。利用 ARCore 的環(huán)境理解(Environmental Understanding)及平面識別(Plane Finding)，識別環(huán)境中的對象和特征，精確地理解環(huán)境，加上炫酷逼真的 3D 模型，為孩子們帶來身臨其境學(xué)單詞的樂趣體驗(yàn)。

　　學(xué)習(xí)過程中，孩子們不僅可以將精致模型投射在家里，從各種角度進(jìn)行觀察，放大縮小或移動;還可以點(diǎn)擊模型上的中英文詞框，或點(diǎn)進(jìn)查詞結(jié)果頁，查看中英單詞的權(quán)威釋義，使形象和字義深刻聯(lián)結(jié)。這大大提升了學(xué)習(xí)的趣味性，讓孩子們邊學(xué)邊玩兩不誤。

　　滴滴 - 用 AR 讓路癡永不迷路

　　在火車站、商場和機(jī)場等大型公共區(qū)域，你是否有打上車卻找不到司機(jī)的體驗(yàn)?AR實(shí)景導(dǎo)航，讓路癡輕松找到方向。

　　基于 ARCore 技術(shù)，滴滴構(gòu)建了一個實(shí)景導(dǎo)航解決方案，實(shí)時識別用戶和環(huán)境之間的定位關(guān)系，AR 實(shí)景導(dǎo)航引導(dǎo)信息逼真地和實(shí)景環(huán)境相結(jié)合，用戶只需要跟著 AR 路標(biāo)走，直接跳過轉(zhuǎn)換 2D 地圖信息的步驟。在這個過程中，ARCore 的環(huán)境理解和運(yùn)動跟蹤功能，確保手機(jī)始終識別用戶方位，給出正確的路標(biāo)指導(dǎo)。

　　在定位時，ARCore 會提示用戶獲得一張有效定位圖片，利用運(yùn)動追蹤功能，感知用戶位置、移動速度和角度。同時，ARCore 通過環(huán)境理解功能可以理解周圍現(xiàn)實(shí)環(huán)境，估算平面信息，不論是商場地面，還是垂直于水平地面的墻壁、指示牌，它都能快速理解并相應(yīng)放置虛擬指示路標(biāo)，使引導(dǎo)信息渲染得更加逼真，讓用戶一看就明白。

　　這種有用、科技感十足的導(dǎo)航方式，一經(jīng)推出就大受用戶好評。這項功能在中國、日本等多地上線，據(jù)數(shù)據(jù)顯示，它幫助用戶節(jié)省近 1/4 的時間，滿意度達(dá) 80%。

　　ARCore 新進(jìn)展 - 讓更多人，在更多地方體驗(yàn)更逼真的增強(qiáng)世界

　　除了這些豐富多彩的創(chuàng)新合作成果，本次 Google 開發(fā)者大會上，還著重介紹了 ARCore 技術(shù)的最新進(jìn)展，為各位開發(fā)者們帶來了兩項AR領(lǐng)域的重磅功能：Depth API(深度 API)以及持久云錨點(diǎn)(Persistent Cloud Anchors)技術(shù)。

　　深度 API - 解決 AR 界的遮擋及互動難題

　　2020年中，Google 發(fā)布了 ARCore Depth API(深度 API)，為開發(fā)者們帶來解決虛擬物件擬真技術(shù)難題的希望，開發(fā)者憑借 Depth API 和單個 RGB 攝像頭就可創(chuàng)建出深度圖。不依賴任何特殊硬件，所以在大部分兼容 ARCore 的設(shè)備上都是可以使用深度API的。

　　Depth API 的一項最關(guān)鍵功能就是“遮擋”：虛擬物體能夠準(zhǔn)確地出現(xiàn)在現(xiàn)實(shí)物體后面，與場景真正融合在一起。此前沒有遮擋功能，虛擬物體容易“橫空出世”，更像是現(xiàn)實(shí)世界中的“貼圖”，讓人瞬間出戲。

　　△ 左邊沒有遮擋功能的“喵星人”缺乏真實(shí)感，右側(cè)開啟遮擋功能的“喵星人”則逼真地藏在了遮擋物后面。

　　那么究竟深度 API 是怎么實(shí)踐的呢?怎么使用深度呢?

　　首先，我們先定義深度：就像下圖里面表示的，C 點(diǎn)是攝像機(jī)的位置，Z 軸是攝像機(jī)的主軸。大寫的 A 點(diǎn)，表示一個現(xiàn)實(shí)的物體。C 到 A 點(diǎn)的深度，就是線段 CA 在 Z 軸的投影。

　　一旦我們知道場景里面的物體的距離，我們就可以在渲染虛擬物體的時候使用這個信息，進(jìn)行 Z buffer 計算。比較當(dāng)前的像素點(diǎn)的深度與之前渲染在這個像素的點(diǎn)的深度，如果已經(jīng)有別的物體出現(xiàn)在更近的位置，那么我們就忽略當(dāng)前的像素點(diǎn)，這樣就實(shí)現(xiàn)了基于深度的遮擋效果。

　　如上圖所示，我們使用藍(lán)色表示近處的深度，藍(lán)色越深表示一個物體靠近攝像頭越近，它的的深度值就越低。當(dāng)我們啟用深度表示時，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮擋住椅子。

　　此外，使用深度信息，還可以做出一系列擬真的特殊效果。例如更加逼真的物理反彈飛濺，避開障礙物的最佳路徑規(guī)劃，或完美貼合在凹凸不平的表面。也可以近一步運(yùn)用粒子特效，模擬一些很難用其它傳統(tǒng)的渲染技術(shù)達(dá)到真實(shí)感的自然現(xiàn)象，如火花、落葉、下雨、下雪等。

　　知名的社交應(yīng)用 Snap 公司的設(shè)計師和工程師就將 Depth 的多項特性巧妙地融合在一起，開發(fā)出了一套與實(shí)景完美結(jié)合的 Snapchat 濾鏡，包括跳舞熱狗(Dancing Hotdog )以及 Android 版獨(dú)有的海底世界(Undersea World)。此外，Snapchat 也在濾鏡開發(fā)工具中，整合了ARCore Depth API ，濾鏡創(chuàng)作者只需在開發(fā)工具中下載 ARCore Depth API 模版，就能開發(fā)出基于深度，更沉浸更真實(shí)的體驗(yàn)。因?yàn)殚_發(fā)過程大大簡化，濾鏡創(chuàng)作者們可以更輕松地應(yīng)用高級的深度功能。

△ Snapchat 濾鏡的真實(shí)體驗(yàn)感

　　除了移動游戲與社交軟件上的應(yīng)用之外，深度 API(Depth API) 還在很多工具類應(yīng)用上大放光彩。

　　例如，提供遠(yuǎn)程技術(shù)解決方案的應(yīng)用程序 TeamViewer Pilot 在視頻會話中加入 AR 注釋，這都多虧了 Depth API 幫助程序更好地理解環(huán)境及物件，世界各地的專家足不出戶，就可以準(zhǔn)確使用實(shí)時 3D AR 注釋為用戶提供遠(yuǎn)程技術(shù)支持。

△ TeamViewer Pilot 應(yīng)用中的 3D 注釋功能讓專家遠(yuǎn)程精準(zhǔn)標(biāo)記出重要細(xì)節(jié)

　　三星的快速測量工具 Quick Measure 也在技術(shù)支持下不斷迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的設(shè)備上應(yīng)用 ARCore Depth API ,為用戶提供更精確的測量功能了。

　　三星相機(jī)技術(shù)項目經(jīng)理 Soowan Kim 認(rèn)為 Depth API 大有可為：“Depth 會從多個層面豐富用戶的 AR 體驗(yàn)。它將減少掃描時間，加快平面檢測速度，即使是紋理不清晰的平面也能快速檢測。

△ Quick Measure 實(shí)現(xiàn)更精準(zhǔn)測量

　　持久云錨點(diǎn)(Persistent Cloud Anchors) - 讓 AR 物體永存的秘密

　　ARCore 云錨點(diǎn)，通過 Google 的云服務(wù)托管錨點(diǎn)，可以讓二個人甚至是二百人在同一個虛擬世界共享與互動。全新的持久云錨點(diǎn)則加強(qiáng)了這個功能，讓用戶將虛擬內(nèi)容“儲存”到任意現(xiàn)實(shí)場景中，將了文字、影像信息、或3D人物虛擬內(nèi)容的和現(xiàn)實(shí)世界地點(diǎn)關(guān)聯(lián)起來，永久保存共享。

△ SJ Labs 通過 AR 標(biāo)記協(xié)助指引旅客們在斯德哥爾摩中央車站內(nèi)行進(jìn)

　　這一技術(shù)，讓許多人以城市真實(shí)環(huán)境互動的沉浸 AR 應(yīng)用及游戲得以實(shí)現(xiàn)。例如 MARK，是由 創(chuàng)夢天地和 Sybo 開發(fā)的一款A(yù)R社交應(yīng)用，可以讓你通過智能手機(jī)，在現(xiàn)實(shí)世界中和朋友、粉絲共同發(fā)現(xiàn)、共同創(chuàng)作的和現(xiàn)實(shí)場景完美融合的AR涂鴉。運(yùn)用 AR 和地點(diǎn)場景完美整合的特性，你還可以用來裝飾房屋、進(jìn)行多人大范圍的尋寶游戲、甚至跨城市的慈善募款等。

△ MARK 應(yīng)用中與粉絲好友一起 AR 涂鴉

　　此外，沉浸式內(nèi)容工作室 Phoria 與 Google 、Netflix、WMF和一加合作，推出大自然主題的移動端 AR 互動應(yīng)用：《Rewild》(中文直譯為：重歸荒野)。首個試播集名為《Frozen》，是系列四部曲的第一部。你在體驗(yàn)過程中，需要先用手機(jī)掃描周圍環(huán)境，通過掃描和探索來發(fā)覺故事中的 AR內(nèi)容。通過該應(yīng)用，你可以利用周圍的空間與 AR 進(jìn)行互動，好像親眼目睹地球的浩劫與救贖，效果震撼人心。

△ REWILD 應(yīng)用中可身臨其境探索宇宙

　　接軌5G- AR賦能 5G 更多沉浸體驗(yàn)

　　當(dāng)我們討論行動互聯(lián)網(wǎng)的未來, 相信“5G” 絕對是那個最重要的關(guān)鍵詞。

　　5G 賦能了巨量、穩(wěn)定、且快速的資料互聯(lián), 無論是對用戶，或是整個IoT生態(tài)圈，都將帶來革命性的新機(jī)會, 也為AR的應(yīng)用帶來前所未有的可能。

　　Google ARCore 團(tuán)隊也和許多運(yùn)營商合作嘗試了AR 加 5G 的全新應(yīng)用。例如，在南韓，這個全球第一個邁入 5G 全面商用化的國家，LG Uplus 在首爾地鐵站，建立了 AR 藝術(shù)長廊以及展示車廂。雖然地鐵站一向都是人數(shù)多、信號差的地方，但是有了 5G 的加持，用戶可以直接通過手機(jī)觀看韓流明顯或是瑜伽教練的真人全息影像，也可以順暢體驗(yàn)復(fù)雜的 3D 人物舞蹈。

　　此外，Google 也與SK Telecom，及文化遺產(chǎn)管理局合作，創(chuàng)建了全球第一個5G 賦能的AR增強(qiáng)現(xiàn)實(shí)文旅體驗(yàn)，作為 5G 網(wǎng)絡(luò)服務(wù)示范。通過ARCore 賦能，用戶可以身臨其境的了解昌德宮的歷史故事，生動地看到昌德宮的金泉橋、仁政殿、熙政堂等景點(diǎn)。之前因文化遺產(chǎn)保護(hù)而限制入內(nèi)的地方也得以公開。 此外，用戶還可以與AR中的王和王后一起拍攝 AR 照，或進(jìn)行 AR 射箭、AR 放風(fēng)箏等豐富多彩的 AR 體驗(yàn)。SK 電信品牌營銷集團(tuán)負(fù)責(zé)人表示：“今后將利用 5G 技術(shù)，推出更多能夠?yàn)樯鐣龀鲐暙I(xiàn)的活動”。

　　AR 作為一種視覺沉浸式媒介，持續(xù)吸引著社會各界的廣泛關(guān)注。Google 作為技術(shù)先驅(qū),正積極地與全球開發(fā)者合作，用大放異彩的 ARCore 帶來一個又一個驚喜。這種變革式的新體驗(yàn)，在不斷發(fā)展中已有長足進(jìn)步，但想必它還有更為廣闊的遠(yuǎn)景。未來，它將如何予力社會與個人，改變你我的生活呢，讓我們拭目以待。

　　想馬上開始實(shí)做你的第一個AR 應(yīng)用卻沒有基礎(chǔ)? Google 與網(wǎng)易有道在中國大學(xué) MOOC(慕課)合作，上線 ARCore 技術(shù)零基礎(chǔ)免費(fèi)線上課程，助力開發(fā)者學(xué)習(xí)成長。你可以直接到慕課官網(wǎng)搜索 “Google ARCore 入門開發(fā)課程“, 馬上開始學(xué)習(xí)!

　　正在開發(fā)AR app 但總是覺得虛擬物件效果不夠真實(shí)?你可以通過Google的示范應(yīng)用ARCore Depth Lab 馬上體驗(yàn) ARCore 深度 API 的功能。這個應(yīng)用已經(jīng)上架 Google Play，并且代碼開源，在 Github 中直接搜尋 arcore-depth-lab，相關(guān)的代碼、論文、簡介小視頻都可以免費(fèi)下載。