如何輕鬆上手3D檢測應用實戰?飛槳產業實踐範例全流程詳解
隨着深度學習技術的快速發展,3D檢測技術作為關鍵發展方向之一,在機器人視覺、城市視覺、增強現實等領域發揮重要作用。傳統依靠激光雷達的3D檢測方法存在傳感器昂貴,難以大規模廣泛部署、點雲缺失紋理信息、分辨率低等問題。建立單目3D檢測模型,有效地利用了圖像相對於點雲的各個優勢,以更低的成本部署到實際應用場景。
為了讓大家能夠更快速的應用前沿的技術,百度視覺技術部基於飛槳提供了一套完整的3D視覺檢測產業實踐範例,提供了從數據準備、模型訓練及優化的全流程可複用方案,降低產業落地門檻。
:star: 項目鏈接 :star:
點擊閲讀原文一鍵GET
http://aistudio.baidu.com/aistudio/projectdetail/4038086
所有源碼及教程均已開源,歡迎大家使用
場景難點
-
深度信息缺失,由2D圖像預測3D位置困難;
-
相機傳感器敏感,受環境影響(夜晚、雨天)等較大;
-
圖像層面,遮擋、截斷等問題嚴重影響感知精度。
模型選擇
單目3D檢測提供兩種方案選擇:基於anchor的方案和anchor-free的方案。
-
anchor方案:從圖像中估計出3D檢測框,也無需預測中間的3D場景表示,可以直接利用一個區域提案網絡,生成給定圖像的3D錨點。不同於以往與類別無關的2D錨點,3D錨點的形狀通常與其語義標籤有很強的相關性。
-
anchor-free方案:將2D檢測方法CenterNet擴展到基於圖像的3D檢測器,該框架將對象編碼為單個點(對象的中心點)並使用關鍵點估計來找到它。此外,幾個平行的頭被用來估計物體的其他屬性,包括深度、尺寸、位置和方向。
我們採用基於anchor的方法,使用了3D障礙物的平均信息作為先驗知識,效果實際落地更好。在骨幹網絡部分,我們選擇的是DenseNet,這種網絡建立的是前面所有層與後面層的密集連接,實現特徵重用,有着省參數、扛過擬合等優點。我們提供了以下版本的方案嘗試:
根據單目3D檢測實時性的要求,這裏我們選擇了DenseNet121作為我們的骨幹網絡。
算法優化
本範例提供了在模型迭代過程中優化精度的思路:
-
數據過濾:根據bbox可見程度、大小來過濾每個bbox標籤,根據有無保留bbox過濾每張圖片,整體平衡前後背景,保證訓練的穩定性。
-
數據增強:主要使用RandomFlip、Resize兩種數據增強策略。
-
anchor定義:模型輸出
-
後處理優化:根據將3D相關信息組成3D框,投影到圖像上得到投影的八點框,取八點最小外接包圍框與2D預測結果算IOU,通過不斷的調整旋轉角ry或深度z,來使得IOU最小。此算法利用了2D檢測的結果要比3D檢測的結果準確的先驗知識,用2D框來糾正預測的3D屬性,來達到優化3D定位精度的目的。整體框架如下圖所示:
經過調整後,在car類前後效果對比如下:
模型部署
使用飛槳原生推理庫Paddle Inference,用於服務端模型部署,總體上分為三步:
-
創建PaddlePredictor,設置所導出的模型路徑;
-
創建輸入用的 PaddleTensor,傳入到 PaddlePredictor中;
-
獲取輸出的 PaddleTensor,將結果取出。
飛槳產業實踐範例 助力企業跨越AI落地鴻溝
飛槳產業實踐範例,致力於加速AI在產業落地的前進路徑,減少理論技術與產業應用的差距。範例來源於產業真實業務場景,通過完整的代碼實現,提供從數據準備到模型部署的方案過程解析,堪稱產業落地的“自動導航”。
-
真實產業場景:與實際具有AI應用的企業合作共建,選取企業高頻需求的AI應用場景如智慧城市-安全帽檢測、智能製造-表計讀數等;
-
完整代碼實現:提供可一鍵運行的代碼,在“AI Studio一站式開發平台”上使用免費算力一鍵Notebook運行;
-
詳細過程解析:深度解析從數據準備和處理、模型選擇、模型優化和部署的AI落地全流程,共享可複用的模型調參和優化經驗;
-
直達項目落地:百度高工手把手教用户進行全流程代碼實踐,輕鬆直達項目POC階段。
- 訓練數據有缺陷?TrustAI來幫你!
- 低代碼平台中的數據連接方式(上)
- 你一定愛讀的極簡數據平台史,從數據倉庫、數據湖到湖倉一體
- 百度APP視頻播放中的解碼優化
- 如何輕鬆上手3D檢測應用實戰?飛槳產業實踐範例全流程詳解
- 四步做好 Code Review
- 百度智能雲天工邊雲融合物聯網平台,助力設備高效上雲
- Redis 主從複製的原理及演進
- 面由心生,由臉觀心:基於AI的面部微表情分析技術解讀
- 大模型應用新範式:統一特徵表示優化(UFO)
- 智能大數據,看這本白皮書就夠了
- 效果提升28個點!基於領域預訓練和對比學習SimCSE的語義檢索
- 百度基於 Prometheus 的大規模線上業務監控實踐
- AI CFD:面向空天動力的科學機器學習新方法與新範式
- 飛槳圖神經網絡PGL助力國民級音樂App,創新迭代千億級推薦系統
- 全新緩存組件,大幅加速雲上飛槳分佈式訓練作業
- 知乎用户畫像和實時數據的架構與實踐
- 全新緩存組件,大幅加速雲上飛槳分佈式訓練作業
- “千言”開源數據集項目全面升級:數據驅動AI技術進步
- 百度CTO王海峯:AI大生產平台再升級 助力中國科技自立自強