為自動駕駛汽車創造「記憶」,上交校友、康奈爾大學博士生三篇論文被CVPR 2022收錄
人經常走一條路能走熟,自動駕駛汽車也應該能。
機器之心報道,編輯:張倩。
自動駕駛汽車靠各種傳感器「看到」這個世界,然後再借助人工神經網絡處理來自傳感器的數據。它們和人類不同,因為人類是有記憶的,一條路多走幾次就熟了,但對於使用人工神經網絡的自動駕駛汽車來説,這條路每天都是新的。這在天氣惡劣時會成為一個問題,因為這種天氣下,傳感器往往沒有那麼可靠。
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b01be1fb389a028f4658531d9e78f9ebad93f818bf0864e5487cd524992d96744.jpg)
為了緩解這一問題,來自康奈爾大學 Ann S. Bowers 計算機與信息科學學院和工程學院的研究人員在 CVPR 2022 上發表了兩篇研究論文,在ICLR 22上發表了一篇論文,其核心思想是為自動駕駛汽車創造「記憶」,並在後續的行駛中使用這些記憶。
論文 1 標題為「HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception」,一作是博士生遊宇榕(Yurong You),senior author 是康奈爾大學 Bowers CIS 計算機科學教授 Kilian Weinberger。
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af98393fd6f9834a126b78d7c824091ec679727271919063d8ee66469861d72a4419562.jpg)
論文鏈接: http:// arxiv.org/pdf/2203.1140 5.pdf
Weinberger 教授認為,「上述問題的核心在於,我們能否從反覆的經歷中學習?例如,汽車的激光掃描儀第一次從遠處看到形狀奇怪的樹時,可能會把它誤認為行人,但一旦距離足夠近,物體類別就變得清晰起來。因此,當你第二次開車經過同一棵樹時,即使是在霧中或雪中,你也希望汽車已經學會正確識別這棵樹。」
「事實上,你很少有機會開上一條近期完全沒人開過的路,總有人最近會經過這裏,所以,收集經驗並加以利用看起來是再正常不過的事。」論文合著者 Katie Luo 説到。
在博士生 Carlos Diaz-Ruiz 的帶領下,該小組在 18 個月的時間裏駕駛一輛配置了激光雷達傳感器的汽車在伊薩卡及其周圍的 15 公里環路上重複行駛了 40 次,收集了沿途的環境(高速公路、城市、校園)、天氣(晴天、雨天、下雪天)和一天中不同時段的信息。
這些信息組成了一個名為「Ithaca365」的數據集,其詳細信息可在論文 2《Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions》中找到。
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af9839370993f3c1c2aaa4a213c9342c760fb74a48775b72f9dc2ff303702ccecd44ade.jpg)
![](http://mdimg.wxwenku.com/getimg/356ed03bdc643f9448b3f6485edc229b540a021de08bb4630d422fd2c02d8bca8eb7ea7538a600a1175399d731d00683.jpg)
「這項研究直面自動駕駛汽車的一項關鍵挑戰——惡劣的天氣條件,」Ithaca365 的合著者 Diaz-Ruiz 説,「如果路面被積雪覆蓋,人類可以依靠記憶,但人工神經網絡無法依靠記憶,這就使其陷入劣勢。」
論文 1 標題中的「HINDSIGHT」是一種在汽車經過物體時使用神經網絡計算物體描述符的方法。然後,它會壓縮這些被稱為「SQuaSH (Spatial-Quantized Sparse History) 特徵」的描述,並將其存儲在虛擬地圖上,類似於存儲於人腦中的「記憶」。
![](http://mdimg.wxwenku.com/getimg/ccdf080c7af7e8a10e9b88444af9839309a2a03f7d9302304362fe3c99776a23e16de741807abcb3f8f4ff8363fea384.jpg)
下次穿越同一位置時,自動駕駛汽車可以查詢沿途每個激光雷達點的本地 SQuaSH 數據庫,並「回憶起」上次學習的內容。該數據庫不斷更新並在車輛間共享,從而豐富了可用於執行識別的信息。
「此信息可作為特徵添加到任何基於激光雷達的 3D 目標檢測器中,」遊宇榕説,「檢測器和 SQuaSH 表示可以在沒有任何額外監督或人工註釋的情況下被聯合訓練,後者需要花費不少時間和精力。」
雖然 HINDSIGHT 仍然假設人工神經網絡已經經過訓練,可以檢測物體,並增加了創建記憶的能力,但論文 3《Learning to Detect Mobile Objects from LiDAR Scans Without Labels》又往前走了一步,提出了一種名為 MODEST(Mobile Object Detection with Ephemerality and Self-Training)的方法。
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b4bf4fb56731dc491aa9616273c8e77a4b7ef62e0eca16665fb9850071f535e72.jpg)
![](http://mdimg.wxwenku.com/getimg/6b990ce30fa9193e296dd37902816f4b69413ea24b330a6faf93d5459ddb0933203a0af35ebe71ae6c471a08b36aa875.jpg)
在這篇論文中,作者讓自動駕駛汽車從頭開始學習整個感知流程。最初,車輛中的人工神經網絡從未接觸過任何物體或街道。在對同一路徑多次遍歷之後,它可以瞭解到環境的哪些部分是靜止的,哪些目標是移動的。慢慢地,它會教會自己什麼是其他交通參與者,什麼是可以忽略的安全因素。
然後,該算法可以可靠地檢測這些目標,甚至在最初的重複遍歷中不包括的道路上。
研究人員希望這兩種方法都能大幅降低自動駕駛汽車的開發成本(目前仍嚴重依賴昂貴的人工標註數據),並通過學會在最常用的地點導航來提高這種汽車的效率。
論文 1 和論文 3 的一作均為康奈爾大學博士生遊宇榕(他也參與了論文 2)。他本科畢業於上海交通大學致遠學院 ACM 班,大二暑假加入盧策吾的實驗室開始了對計算機視覺和增強學習的研究,並分別在大三暑假赴斯坦福大學 AI 實驗室,大四暑假赴康奈爾大學進行相關領域的科研實習,之後獲得康奈爾大學、加州理工學院計算機科學博士全獎錄取。
最終,他選擇了康奈爾大學攻讀博士,師從該校計算機科學教授 Kilian Q. Weinberger 和計算機科學助理教授 Bharath Hariharan,重點研究計算機科學、機器學習等方向。
- 從AI為寵物投保這個「小事」講起,保險變革開始了
- 華為MindSpore架構師王紫東:當生物計算領域「遇災」,MindSpore做了何解?
- 從產線到星空,這些AI工程師帶着算法上天入地
- 數實融合驅動數字未來 影譜科技攜沉浸式數字技術亮相2022服貿會
- 驅動虛實融合,影譜科技在WAIC推出多款智能視覺及元宇宙新品
- 英偉達和Ampere共同推出雲遊戲Arm服務器:每台最多支持160個用户
- 擴散模型背後數學太難了,啃不動?谷歌用統一視角講明白了
- 悟空搜索“降世”,能否大鬧搜索引擎“天宮”?
- 蘑菇車聯與北京通州達成合作,打造車路雲一體化智慧交通系統
- LeCun沒看好的AGI,傳奇程序員John Carmack:已創業,融資兩千萬美元
- 蘑菇車聯與無錫梁溪區簽約,將打造數字孿生城市交通底座
- 這場比賽,讓上百個AI智能體「捲起來了」
- 大模型時代,那些一起訓練AI模型的企業是怎麼應對數據顧慮的?
- 數字人賽道熱度正高,AI技術如何創造不一樣的“靈魂”?
- Unity否決175億美元併購提議:準備自己收購廣吿公司
- 消費級GPU可用,文本轉圖像開源新模型Stable Diffusion生成宇宙變遷大片
- 全球遊戲引擎商業化進入新階段,國內頭號玩家Cocos“三分天下”
- 墨芯獲評大灣區高成長性企業TOP50
- 圖神經網絡發Nature子刊,卻被爆比普通算法慢104倍,質疑者:灌水新高度?
- 亞馬遜欲17億美元收購iRobot,掃地機器人“含金量”幾何?