影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

本期

#影見AR實驗室

邀請到的是資深人機互動演算法工程師周志敏,抱著對AI技術的熱愛。他與團隊一步一步攻克難關,持續為影見AR提供強大的演算法支援。

01個人簡介

周志敏,資深人機互動演算法工程師,畢業於上海交通大學模式識別專業,師從長江學者劉允才教授,主要研究物體檢測和並行化加速。2016年研究生畢業後加入網易人工智慧事業部,從演算法工程師到演算法負責人,他和他的團隊取得了近20項發明專利,在多模態人機互動演算法設計和工程化方面有著諸多積累,主要研究方向包括基於深度/彩色/灰度視覺訊號的人體/手部檢測、姿態估計以及動作識別。

影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

周志敏 演算法負責人

02成為演算法工程師,是偶然,也是必然

為何成為一名演算法工程師,其中有偶然因素,也有自己的興趣愛好。高考之後志敏懵懂地選擇了自動化專業,而自動化專業有兩個方向:一個是控制工程和理論,另一個是模式識別。在人工智慧興起之前,模式識別是最貼近人工智慧的專業。首次接觸模式識別專案,他就對其萌生了極大的興趣,後續的研究方向自然而然就選擇了模式識別,這也成為他走上演算法工程師之路的開端。

隨著人工智慧時代加速來臨,演算法工程師成為一個不可或缺的新興職業。無論是對自身,還是作為負責人對組內成員的評估,志敏始終認為工程師的核心競爭力是根據所學習的理論和實踐經驗解決實際問題的能力,演算法工程師就是根據人工智慧理論,探索隱藏在大資料之後的規律,從而解決實際問題。

“一名合格的演算法工程師要熟悉研究方向的發展脈絡,並對這一方向有獨特的見解;工欲善其事必先利其器,如visual studio、pycharm、git、docker、Linux、cmake等基本工具也要十分熟練。”

03桌面觸控演算法的突破

如果問影見AR演算法的研發過程中最具有挑戰的關卡是什麼,桌面觸控當仁不讓。演算法團隊不斷深入探索如何利用深度相機識別手指以及判斷手指與物體的接觸情況,在迭代多個版本後,成功讓觸控投影的演算法得到成熟應用,並得到了上下游合作伙伴的一致認可。在志敏看來影見AR的成熟演算法具有顯著的優勢,無論從觸控互動,還是從手勢識別、物體識別方面,影見AR都實現了新的突破:

01 自然手錶面觸控互動技術

。目前自然手錶面觸控互動技術主要透過:電阻、電容檢測方法,或紅外鐳射掃描或類似方法實現。前者需要預置電極感測器,而後者僅支援在完整平面上進行觸控。與這些方式不同,

影見AR透過引入深度視覺訊號處理技術實現無需在觸控表面預置感測器、並支援曲面和非完整表面的觸控互動技術

影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

02 空間手部關節點三維位置估計及動靜態手勢識別技術

。當前,手部關節點回歸主要是基於彩色影象的二維位置估計,缺少空間資訊;也有基於彩色影象的三維位置估計,但偏差比較大。

影見AR採用基於深度感測訊號的三維手部關節點回歸,這可以更好地實現自然手互動以及手與物體互動識別

成為AR頭戴式裝置關鍵技術

也是人機互動從二維到三維轉換的核心技術

影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

03 基於彩色視覺訊號的識別技術

。目前檢索技術大部分還是以文字檢索為主。隨著智慧手機的普及,基於彩色視覺訊號的影象檢測技術也越來越流行。在繪本識別細分場景中,構建一個兩級的影象檢索系統(封頁識別、繪本內容識別),並融合多種解析度,提高影象檢索識別的效率。

這項技術使得影見AR在教育行業可以大展拳腳,實現更多的教育可能性

影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

04 高精度三維空間標定技術

。與市場上大多數增強現實投影系統相比,影見AR不必依靠人力逐畫素調整投影畫面與真實空間的對應關係。而是透過將投影儀假設為一個逆相機模型,充分考慮鏡頭畸變,設計一套高精度自動化標定系統,是空間增強現實系統的技術關鍵點。

影見AR實驗室|周志敏:深耕觸控投影演算法,開創新型互動應用

志敏及演算法團隊在觸控投影領域有廣泛的技術積累,在產品面世之後,在繼續深耕觸控投影基礎演算法的同時,

根據市場和使用者的反饋,專注於在細分領域做精做細,為影見AR在各行業的實際應用提供更好的技術支撐

From 志敏

關於未來

=========

很多人都在討論人工智慧時代,人和技術的未來。在這一點上,我認為隨著人工智慧的發展,更多的職業被取代是必然趨勢,這也是社會發展的標誌,更多的人從簡單腦力勞動中解放出來,也必將促進數字時代人工智慧的發展。

__________________________

關於易現EZXR (ezxr_hz)

孵化於網易的易現EZXR在人工智慧領域耕耘已久,團隊自2011年起即開始了AI領域的探索與沉澱,以AI服務支援網易內部,並經由網易系APP觸達近10億使用者,峰值期間覆蓋8000萬人/天;於2015年起進入增強現實領域;2016年推出了增強現實的平臺和產品,透過不斷的技術迭代,已在國內該領域中躋身前列;2019年完成首輪逾億元人民幣融資,成立易現EZXR並聚焦人工智慧加持的增強現實行業賽道;2020年,深度佈局以AR Cloud技術為基礎的大空間AR業務商業化落地,並獲評“準獨角獸企業”稱號。