商湯聯合團隊獲選CVPR 2023最佳論文 推出首個「感知決策一體化」自動駕駛通用大模型

2023年6月23日────全球領先的人工智能軟件公司商湯科技及聯合實驗室2篇論文登上本屆全球人工智能計算機視覺領域頂級國際會議CVPR 2023（Computer Vision and Pattern Recognition Conference）12篇最佳論文候選名單（Award Candidate），其中自動駕駛研究論文《Planning-oriented Autonomous Driving》榮獲本屆CVPR最佳論文獎（Best Paper Award）。

本屆CVPR於6月18日至22日在加拿大溫哥華舉行，今年投稿總量達9,155篇，最終共有2,369篇論文入選，當中54篇論文來自商湯科技及聯合實驗室。

自動駕駛研究取得重要突破 榮獲最佳論文

自動駕駛是一項高度複雜的技術，需要多個學科領域的知識和技能，包括傳感器技術、機器學習、路徑規劃等方面。此外，還需要適應不同的道路規則和交通文化，與其他車輛和行人進行良好的交互，以實現高度可靠和安全的自動駕駛系統。面對這種複雜的場景，大部分自動駕駛相關的工作都聚焦在具體的某個模塊，關於框架性的研討則相對匱乏。

商湯科技及聯合實驗室CVPR 2023 Best Paper提出的自動駕駛通用大模型——Unified Autonomous Driving（UniAD）首次將檢測、跟蹤、建圖、軌跡預測、佔據柵格預測及規劃整合到一個基於 Transformer 的端到端網絡框架下，更高效契合了 「多任務」和「高性能」的特點。這不僅是CVPR歷史上第一篇以自動駕駛為主題的最佳論文，同時也標誌著自動駕駛領域的重要突破。

自動駕駛UniAD框架對比（a）模塊化、（b）多任務模塊、（c）端到端自動駕駛模塊

商湯科技聯合創始人、首席科學家、絕影智能汽車事業群總裁王曉剛表示：「UniAD是業內首個感知決策一體化的自動駕駛通用大模型，並且整體系統和性能取得大幅提升，代表了未來自動駕駛技術的發展趨勢。」

這種端到端的優化在多項的關鍵技術指標上超越了SOTA（state-of-the-art）。比如，多目標跟蹤準確率超越SOTA 20%，車道線預測準確率提升30%，預測運動位移誤差降低38%，規劃誤差降低28%。

UniAD 作為一項極具創新性的自動駕駛技術，具有很大的潛力和應用價值。儘管該技術目前仍處於發展初期，但已引起行業的廣泛關注，未來的發展前景非常值得期待。

CVPR 2023最佳論文候選 加速推動AIGC時代真實感3D內容生成

除了自動駕駛，面向真實 3D 物體的感知、理解、重建與生成是計算機視覺領域一直倍受關注的問題。由於缺乏大規模的真實掃描三維數據庫，最近在三維物體建模方面的進展大多依賴於合成數據集。

為了促進現實世界中3D感知、重建和生成的發展，商湯及聯合實驗室CVPR 2023 Best Paper候選論文《OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation》提出了OmniObject3D，一個具有大規模高質量真實掃描3D物體的大型詞彙3D物體數據集，覆蓋近 200 個類別、約 6,000 個三維物體數據，包括高精表面網格、點雲、多視角渲染圖像和實景採集的視頻，借助專業掃描設備保證了物體數據的精細形狀和真實紋理。

OmniObject3D是目前學界最大的真實世界三維掃描模型數據集，為未來的三維視覺研究提供了廣闊的空間。利用該數據集，研究人員精心探討了點雲識別、神經渲染、表面重建、三維生成等多種學術任務的魯棒性和泛化性，驗證了其從感知、重建、到生成領域的開放應用前景，有望在AIGC 時代推動真實感 3D 生成方面發揮至關重要的作用。

此外，商湯科技還在半監督目標檢測、3D GAN inversion框架、擴散模型等領域取得眾多研究成果，可廣泛應用於內容生成、3D重建等場景。

大裝置+大模型帶領研究革新

持續引領前沿創新，是商湯在以大裝置SenseCore和大模型為核心的AI基礎設施領域長期投入，並堅持產學研協同創新的成果。

王曉剛教授認為，在大算力、大數據的支撐下，大模型將以更強大的通用能力引發人工智能領域的巨大變革，同時也會拓展我們的研究視野，激發新一輪研究革新。

自今年4月初「商湯日日新SenseNova」大模型體系公佈以來，商湯的大模型已在氣象預報、遙感解譯、開放環境中的決策問題等領域取得了諸多突破性成就。

未來，商湯將繼續與產學研各界共同擁抱和探索大模型帶來的革新，為AI的前沿探索開拓新方向和新路徑。