拒絕抖動眩暈 亮亮視野AR防抖算法上線

    “對方腦袋一動，畫面就抖的不行，讓人感覺眩暈想嘔吐”，遠程專家在觀看AR第一視角畫面時吐槽到，“遠程協(xié)作控制在幾分鐘內還行，時間長了受不了�！盇R眼鏡作為下一代交互方式，仍然還有不少技術不成熟之處，極大的影響了用戶體驗，其中，攝像頭畫面抖動產生的暈動癥就是最普遍的問題。

    為了解決這個難題，不少廠商正在進行各種努力，而現在，亮亮視野已經成功研究出防抖算法，其能降低視頻畫面的抖動，從而降低暈動癥的產生。該技術已經在部分客戶中進行測試，目前表現穩(wěn)定，亮亮視野計劃于9月10日在ARISE企業(yè)服務平臺中上線該技術，屆時ARISE用戶均可免費使用。

    為什么不能照搬手機防抖技術？

    談及AR眼鏡攝像頭防抖問題，想必很多人第一時間的反應是，手機攝像頭防抖性能這么好，硬件、算法都這么成熟了，直接用在AR眼鏡上不就行了么？

    防抖算法負責人表示，雖然都是小型、輕薄化的產品，但要把手機上使用的攝像頭直接照搬過來，基本上是不可能的事情。主要存在兩類技術難點：

    其一，AR眼鏡首先要考慮輕量化、輕薄化、省電化，而光學防抖又或是傳感器防抖攝像頭體積都較大，功耗也比較高，這與AR眼鏡的核心設計相違背；

    光學防抖攝像頭厚度和體積都過大

    其二，手機防抖算法和AR眼鏡防抖算法的要求存在差異，前者是因拍攝者手持不穩(wěn)定造成的高頻低幅度抖動，而AR眼鏡則是因頭動產生的大幅度、大角度防抖，可以說兩者看似都在解決防抖問題，但在技術層面上完全是差以千里。

    正是由于這兩點的存在，既沒有現成的硬件可用，算法還需要重新研究，給AR眼鏡場景防抖帶來了嚴峻的考驗。

    亮亮視野AR防抖算法亮點在哪？

    自2012年Google Glass帶著文藝的科技范兒與濃重的未來感襲來至今已經有9年光景了，為什么AR防抖算法才真正有了突破？亮亮視野表示，AR防抖算法不僅要解決AR眼鏡使用下的大幅度運動防抖準確性問題，更關鍵的是對低功耗的技術挑戰(zhàn)非常之大，功耗控制不好即意味著發(fā)熱量控制不住，這是頭戴設備萬萬不被允許的。

    最終，亮亮視野科研團隊基于神經網絡，改進了ECCV頂會算法，采用了自監(jiān)督學習進行運動估計，終于探索出具有低功耗、低延時、大角度旋轉適應能力三方面優(yōu)勢的AR防抖算法。具體表現為：

    低功耗：亮亮視野防抖算法使用輕量卷積神經網絡算法，僅需要7-10ms。而傳統(tǒng)的基于特征點檢測和光流的運動估計算法通常需要20+ms的耗時，功耗得到了極大程度的控制；

    低延時：大多數防抖算法通常需要使用未來多幀或全部視頻幀以達到當前幀的防抖效果，使視頻展示有較為明顯的延時。亮亮視野防抖算法僅需未來1幀即可達到當前幀的防抖目的，實現算法低延時運行。

    旋轉，高速運動：常規(guī)的防抖算法最多能解決1-2度每幀的旋轉，亮亮視野防抖算法可以對3-5度/幀的視頻達到較好的防抖效果。

    負責人還介紹道，這一算法還將在不遠的未來部署在Movidius VPU芯片上，發(fā)揮VPU和Laffe框架計算效能比優(yōu)勢，令其防抖和低功耗表現更優(yōu)。

    至今，亮亮視野科研團隊通過技術探索，已成功解決了陣列光波導模組量產難題、打造了AR專屬AI引擎、提升了AR眼鏡散熱和續(xù)航表現等等一系列棘手的問題，并研究出AI小樣本學習、車道線識別、弱監(jiān)督目標定位、視覺追蹤、AR防抖等人工智能技術，為現實世界問題提供了更多實用的AI解決方案，一系列成果距離實現打通人與數據最后一厘米的愿景越來越近。