商湯科技賦能“科技冬奧”，AI解冰雪場(chǎng)景AR導(dǎo)航難題

隨著第24屆冬季奧林匹克運(yùn)動(dòng)會(huì)的臨近,冬奧村也即將正式開村,迎接來自世界各地冬奧運(yùn)動(dòng)員的到來。為了幫助運(yùn)動(dòng)員們更快地熟悉冬奧村環(huán)境,享受更好的入駐體驗(yàn),人工智能軟件公司商湯科技SenseTime在科學(xué)技術(shù)部科技冬奧的專項(xiàng)支持下,負(fù)責(zé)了“基于3D的實(shí)時(shí)精準(zhǔn)定位技術(shù)、虛擬與現(xiàn)實(shí)結(jié)合的3D高精度識(shí)別的智慧AR導(dǎo)航系統(tǒng)研究”課題,基于SenseMARS火星混合現(xiàn)實(shí)平臺(tái),經(jīng)過幾個(gè)月的研發(fā)攻關(guān),短時(shí)間內(nèi)實(shí)現(xiàn)了大尺度場(chǎng)景下厘米級(jí)的三維地圖構(gòu)建和部署,并解決了動(dòng)態(tài)復(fù)雜場(chǎng)景下實(shí)現(xiàn)精準(zhǔn)定位跟蹤等難題,為張家口冬奧村創(chuàng)新打造智慧AR導(dǎo)航應(yīng)用。AI+AR技術(shù)的融合創(chuàng)新,充分綻放“科技冬奧”的無窮魅力,展現(xiàn)冬奧村的人文情懷。

(張家口冬奧村智慧AR導(dǎo)航)

在冬奧村開村后,該應(yīng)用可為數(shù)千名入駐張家口冬奧村的運(yùn)動(dòng)員和工作人員,提供便捷的AR導(dǎo)航導(dǎo)覽服務(wù)。用戶通過手機(jī)進(jìn)入專屬APP,打開攝像頭識(shí)別周邊實(shí)景,即可輕松鎖定自己的位置,輸入目的地后,跟隨地面上的AR虛擬貼地箭頭,便可直達(dá)接待中心、健身中心、居住區(qū)等地點(diǎn)。相較于傳統(tǒng)導(dǎo)航方式,AR導(dǎo)航將路線標(biāo)識(shí)與真實(shí)場(chǎng)景融為一體,擁有更加沉浸、直觀的視覺體驗(yàn),大大節(jié)省了時(shí)間,幫助運(yùn)動(dòng)員們迅速對(duì)冬奧村周邊環(huán)境了如指掌,更專注于投入到賽事準(zhǔn)備工作當(dāng)中。在這個(gè)虛實(shí)融合的數(shù)字世界當(dāng)中,還有在空中遨游躍動(dòng)的北京冬奧會(huì)吉祥物冰墩墩,加之隨處可見的各冬奧場(chǎng)所介紹大屏,能夠給各國(guó)運(yùn)動(dòng)員帶來更好的代入感和歸屬感。

近年來,移動(dòng)AR技術(shù)盡管發(fā)展迅猛,但實(shí)現(xiàn)廣泛的規(guī)?；涞厝孕柰黄浦T多難題。在此次課題中,實(shí)現(xiàn)AR智慧導(dǎo)航主要面臨兩個(gè)挑戰(zhàn),一是張家口冬奧村及周邊區(qū)域覆蓋面積大,超過30萬平方米,要在冬奧村從建設(shè)完畢到賽前封閉的極短時(shí)間內(nèi),完成如此大尺度場(chǎng)景的高精度三維地圖構(gòu)建,對(duì)數(shù)據(jù)采集和算法效率都提出了很高要求;二是冬奧村內(nèi)建筑群風(fēng)格統(tǒng)一,各個(gè)地方存在大面積相似的紋理,并且常有冰雪覆蓋道路、植被和建筑,造成場(chǎng)景的視覺變化,要在這種環(huán)境下基于圖像精準(zhǔn)識(shí)別自身位置,存在很大挑戰(zhàn)。

憑借在計(jì)算機(jī)視覺領(lǐng)域長(zhǎng)期的技術(shù)深耕以及豐富的場(chǎng)景經(jīng)驗(yàn),以及SenseMARS火星混合現(xiàn)實(shí)平臺(tái)強(qiáng)大能力,商湯創(chuàng)新地通過GPS與視覺融合的數(shù)據(jù)關(guān)聯(lián)方法和參數(shù)分塊優(yōu)化方法,在短時(shí)間內(nèi)快速支持了張家口冬奧村厘米級(jí)的高精度三維地圖構(gòu)建。商湯還研發(fā)了云端結(jié)合架構(gòu),實(shí)現(xiàn)了云端全局定位和終端局部跟蹤的協(xié)同。其中,全局定位綜合利用視覺、藍(lán)牙、GPS等信號(hào)解決相似場(chǎng)景的問題,并針對(duì)冰雪場(chǎng)景訓(xùn)練了不同天氣條件下魯棒的圖像特征;移動(dòng)終端借助云端地圖信息和自身傳感器,在web低算力的條件下實(shí)現(xiàn)了穩(wěn)定跟蹤,最終在如此復(fù)雜場(chǎng)景下,實(shí)現(xiàn)了實(shí)時(shí)、精準(zhǔn)的6自由度空間定位。同時(shí),商湯還建立了高效的虛擬內(nèi)容編輯和創(chuàng)作工具鏈,通過可視化的編輯工具,即可快速創(chuàng)建各種AR內(nèi)容。

得益于多項(xiàng)技術(shù)創(chuàng)新,在實(shí)際使用過程中,這套智慧AR導(dǎo)航應(yīng)用可在30萬平方米區(qū)域內(nèi)任意地點(diǎn),都能始終保持定位精準(zhǔn)、無延遲感的沉浸式虛實(shí)融合效果,且不會(huì)受到建筑、冰雪等復(fù)雜環(huán)境的影響。不僅如此,該應(yīng)用無需獨(dú)立APP,僅借助web瀏覽器即可輕松體驗(yàn),同時(shí)廣泛支持搭載iOS、Android及鴻蒙操作系統(tǒng)的移動(dòng)終端,可以在不同體育場(chǎng)所、賽事中推廣及應(yīng)用。

(基于商湯SenseMARS火星混合現(xiàn)實(shí)平臺(tái)實(shí)現(xiàn)張家口冬奧村厘米級(jí)高精度三維地圖重建)

冬奧村作為冬奧會(huì)的配套設(shè)施,賽事期間將是各國(guó)代表團(tuán)的主要居住地,不僅將承擔(dān)住宿、餐飲、娛樂、休閑等方面的服務(wù)工作,同時(shí)也是舉行國(guó)際交流和聯(lián)歡活動(dòng)的場(chǎng)所。商湯此次通過AI和AR技術(shù)的融合應(yīng)用,不僅助力提高了奧運(yùn)村的數(shù)字化、智能化水平,也讓運(yùn)動(dòng)員們?cè)诰o張激烈的賽事期間,體驗(yàn)到“科技冬奧”理念下,科技創(chuàng)新所展現(xiàn)的趣味性和輕松氛圍。

商湯科技也將積極響應(yīng)“科技冬奧”倡導(dǎo)的核心理念,將這樣的技術(shù)體驗(yàn)帶到人們?nèi)粘Ｉ睢⑾M(fèi)購物、文化旅游等更多場(chǎng)景當(dāng)中。此前,商湯SenseMARS火星混合現(xiàn)實(shí)平臺(tái)已經(jīng)成功在商超、景點(diǎn)、博物館、機(jī)場(chǎng)等場(chǎng)所規(guī)?；涞?并帶來多重的模式創(chuàng)新。例如,商湯通過AR導(dǎo)航、AR營(yíng)銷等玩法組合,為廣州悅匯城、成都IFS國(guó)際金融中心等線下零售業(yè)態(tài)打造全新的流量入口和商業(yè)閉環(huán);在長(zhǎng)沙黃花機(jī)場(chǎng),商湯用AR導(dǎo)航打造虛擬地標(biāo)和指示路牌,創(chuàng)新了機(jī)場(chǎng)的客戶服務(wù)模式。

以人工智能技術(shù)實(shí)現(xiàn)物理世界和數(shù)字世界的連接,為人們帶來更好的虛實(shí)結(jié)合生活體驗(yàn),是商湯科技長(zhǎng)期以來的愿景之一。商湯也將以此次賦能“科技冬奧”為契機(jī),進(jìn)一步促進(jìn)AI技術(shù)與文化、旅游的相互融合,創(chuàng)造新一代沉浸式體驗(yàn)型文化和旅游消費(fèi)內(nèi)容,用空間計(jì)算、場(chǎng)景感知、人機(jī)交互等更加全面的AI+AR基礎(chǔ)能力,構(gòu)建多元化的虛實(shí)融合的應(yīng)用體驗(yàn)。