吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

關于360全景環視系統技術簡要分析

tUM2_ADA ? 來源:djl ? 作者:ADAS ? 2019-08-08 14:40 ? 次閱讀

360全景環視系統恐怕是中國最受歡迎的ADAS功能,國產品牌中高端車一般標配360度全景環視系統,出貨量最大的莫過于傳祺GS8和吉利博越。傳祺GS8主力車型18.28萬豪華智聯版并非頂配車型,但標配360全景環視系統。GS8的車機由哈曼完成,360度全景環視系統由德爾福提供。吉利博越則在12.98萬的手動智慧版就標配360全景環視系統,13萬以上的吉利博越車型全部標配360全景環視系統,吉利博越的高配車機由博泰提供,360全景環視系統由縱目科技提供算法和方案,由重慶桑德科技提供PCB板和硬件制造,由德賽西威提供攝像頭。2016年吉利博越銷量109080,估計有30%配備了360全景環視系統,也就是大約3.8萬套。

360全景環視系統可以簡單分為與導航CPU共享運算資源型(吉利博越)和單獨CPU型(傳祺GS8)。國際上一般叫AVM(AroundView Monitor),最早的AVM由歌樂(日立汽車子公司)與日產聯合開發,在2003年推出。

在國際專利數據庫中查詢相關專利,關鍵詞如下

關于360全景環視系統技術簡要分析

1990-2013年全景環視系統AVM的專利數

關于360全景環視系統技術簡要分析

AVM專利數自2013年開始下降,這就意味著AVM已經成熟,已經不是研發重點了。

AVM專利公司分布

關于360全景環視系統技術簡要分析

豐田旗下的電裝專利數量最多,其次是日產、本田、愛信精機、富士通天、住友電氣、日本電裝、阿爾派、日產、豐田、愛信AW、歌樂、松下、住友線束、博世、Matsushita Electric、Toyota Jidosha、阿爾派等。

1.LUT技術

對于共用導航CPU的360全景環視系統,一般采用以LUT為核心的技術方式。

典型360全景環視系統流程

關于360全景環視系統技術簡要分析

脫機前置作業程序包含了相機校正、 扭曲校正、 估測暗角參數、 鳥瞰轉換與影像對位。 經過脫機前置作業程序后會生成一張全周鳥瞰影像與各相機影像間的幾何關系對應表LUT (Look Up Table), 之后因相機參數固定, 相機間幾何關系也不變, 可用查表方式連續生成全周影像。 在線實時作業程序包含影像點內插、暗角效應補償、 亮度一致化與色彩混合處理, 最終生成環景鳥瞰圖像。LUT是最重要的,LUT的生成需要CMOS傳感器廠家和鏡頭廠家配合提供。

關于360全景環視系統技術簡要分析

利用上面這兩個方程設計人員能夠將校正圖像上的每一像素點映射到輸入圖像的每一像素點。校正后的魚眼圖像在水平方向沒有全景失真。

拼接圖像時,需要對圖像進行配準,以確定重疊區。圖像必須來自兩個以上相同的鏡頭,其主軸都位于同一水平面。而且,鏡頭必須分開一點距離,彼此有些轉動。假設景象中的所有目標都足夠遠,這種情況可以建模為一個鏡頭沿垂直軸旋轉得到不同的圖像。在這些假設下,方程表示的校正功能將圖像變換為彼此水平平移。校正后,只需要指出圖像之間對準時的水平移位就能夠解決圖像配準問題。但是,由于鏡頭對準誤差,實際中,只有水平方向對準還不能完全配準圖像。因此,除了水平平移,還需要進行垂直平移才能完全對準。

確定了經過校正的魚眼圖像的配準參數后,方程采用水平和垂直平移常數,適當的平移 (xq,yq),將輸出拼接圖像的每一像素映射到多幅輸入圖像的一幅中。很明顯,這種映射方法與圖像內容無關,而取決于鏡頭的特性(包括 FOV 和輸入圖像分辨率)、顯示(包括分辨率),以及配準參數等。因此,可以通過在啟動時進行一次計算,結果存儲為查找表 (LUT),實現映射。

關于360全景環視系統技術簡要分析

還有一個失真校正LUT,有些小企業得不到鏡頭廠家的支持或者節約成本干脆省掉了這個環節。

關于360全景環視系統技術簡要分析

很明顯這個LUT得由鏡頭廠家提供,所以鏡頭廠家的地位可是很高滴。從上面的流程中我們可以看出,這種360度全景環視系統技術含量并不高。

這種技術方案的缺點是算法簡單,所占運算資源很少,成本很低,缺點是圖像缺乏立體感,魯棒性差,畢竟是靜態標定的,再有是4個魚眼鏡頭拼接導致視距很短,完全依賴360全景系統仍然不算太安全。有些廠家會增加一級透視變換,就是增加立體感。

關于360全景環視系統技術簡要分析

使用3D圖像引擎(SGX544)生成3D Mesh Table,GPU做Rendering。

關于360全景環視系統技術簡要分析

2.Wrap Around View

富士通提出另一種做法,這就是富士通引以為傲的Wrap Around View,此技術于2009年推出。

關于360全景環視系統技術簡要分析

富士通采用虛擬曲線半球面投影,而非平面投影,這種投影3D立體感強,視距擴展,失真小,畫面更加自然,成本也增加不少。從2009年推出的第一代MB86R01,到2013年推出MB86R24。歷經數代,性能越來越強。MB86R24內含兩個ARM Cortex-9內核,采用55納米工藝,運算能力大約為4000DMIPS ,采用PowerVR SGX543 3D圖像引擎,富士通2D圖像引擎,支持6個全HD攝像頭輸入。攝像頭的FOV不必要求太高,120度也可,這樣就可以探測到比較遠的物體。 物體靠近偵測ApproachingObject Detection功能,一旦有一側的攝像頭偵測到有移動物體變自動切換到那個攝像頭覆蓋的畫面,這個原理很簡單,移動物體會讓碼率增加,簡單對比碼率即可得知。

富士通運用靈活的時間幀來采集兩個不同的圖形,能夠檢測大約40-60米遠的目標,傳統的圖形識別只能做到5-10米。 MB86R24典型應用是在英菲尼迪的高端車上。

關于360全景環視系統技術簡要分析

上圖為MB86R24的內部框架圖,當然這款芯片除了360全景也可以做Infotainment、儀表和AR HUD。

3.視覺里程計技術

英偉達則使用更高大上的技術,用視覺里程計來打造360度環視系統。英偉達認為傳統的環視系統都太LOW,特別動態情況下有拖影或者疊影。英偉達使用無人駕駛領域中的視覺里程計技術,使用視頻流6DOF來獲得高精度的校準參數,使視覺里程計達到實用地步,遠超傳統的方向盤轉角與車輛速度的2DOF校準。

關于360全景環視系統技術簡要分析

關于360全景環視系統技術簡要分析

這當然需要強大的GPU來支持,至少是Tk1的級別,這種技術再前進一步就是全自動泊車了。

關于360全景環視系統技術簡要分析

360全景技術難度不高,關鍵在于怎么控制成本。360環視系統的成本控制點不在處理器而在連接器和連接線。如果采用數字視頻傳輸,那么一般需要采用LVDS接口,這就需要車規級的LVDS連接器和連接線,每條的價格在6-10美元之間,最頂級的LVDS連接器和連接線據說價格逼近1000元人民幣,幾乎和低端車機價格相同。為解決這個高成本問題,美信推出MAX9286,MAX9286配合MAX96709,能夠用普通同軸電纜代替LVDS,同時實現1.5Gbps的帶寬。再有就是采用以太網(EAVB)傳輸視頻,NXP的MPC5604E做MCU博通的BroadRReach做物理層連接,可以將以太網輸入轉化為FlexCAN或LINFlex,這是寶馬奔馳喜歡用的總線。對高清的支持,EAVB顯然性能最佳。當然成本也不低。

低端廠家當然不會有這個麻煩,他們不用數字視頻傳輸,他們是模擬視頻接口。當然ADC不可或缺,ADI和Insteril(已被瑞薩收購)有不少低價ADC,如ADV7184,ISL79985,ISL79986,TW6865,TW9966。

360全景系統的標定也是很關鍵的一環,大家最常見的就是黑白棋盤式校準,高端車則采用框線式。實際還有很多種。

關于360全景環視系統技術簡要分析

關于360全景環視系統技術簡要分析

360環視系統發展空間巨大,目前都采用180度FOV的魚眼鏡頭,雖然經過了失真矯正,但不可能達到傳統攝像頭的效果,圖像周邊仍然桶形失真明顯,3D感也很差。同時魚眼鏡頭的有效距離也太短了。未來可能用6到8個90度FOV攝像頭取代魚眼鏡頭,配合視覺里程計最終發展為全自動泊車。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 自動泊車
    +關注

    關注

    0

    文章

    104

    瀏覽量

    13729
  • 3D圖像
    +關注

    關注

    0

    文章

    38

    瀏覽量

    10762
  • 360全景環視
    +關注

    關注

    2

    文章

    12

    瀏覽量

    5926
收藏 人收藏

    評論

    相關推薦

    看看汽車生產廠商都有哪些360全景環視系統

    昨日,小編已經為大家帶來安森美半導體在汽車360°環視系統上推出的相關模塊化參考設計、圖像傳感及圖像處理、前視倒車攝像機具體解決方案。今天再為大家帶來幾則國內外知名汽車生產商所研發的一系列比較成熟的
    發表于 03-15 10:52 ?2w次閱讀

    360°全景可視泊車/行車記錄(四路全景+行車記錄儀+熄火震)

    360全景可視(鳥瞰)泊車系統推出升級版了,視頻效果在本網站首頁,請點擊觀看!360°全景監控系統
    發表于 05-22 14:01

    【MiCOKit申請】360全景泊車系統

    申請理由:應用于360全景泊車系統的底層控制板的開發。項目描述:360全景泊車輔助系統是近年來
    發表于 07-24 11:59

    環視全景攝像頭應用在那些場合和起到作用有哪些

    技術上有其局限性,如上文所述的圖像失真等問題,以及魚眼環視全景攝像頭的超廣角效果,雖然能監控大范圍面積,但相對來說,它的焦距很短,使得偵測范圍大受限制,大約在半徑5米內可以看清人臉,更遠的話就會顯得模糊
    發表于 05-23 10:30

    Full-HD 3D 360°全景環視與ADAS系統解決方案

    致力于亞太地區市場的領先半導體元器件分銷商---大聯大控股宣布,其旗下世平聯合馳晶科技推出基于眾多國際大廠產品的Full-HD 3D 360°全景環視與ADAS系統解決方案,支持
    發表于 04-10 14:26 ?1.4w次閱讀
    Full-HD 3D <b class='flag-5'>360</b>°<b class='flag-5'>全景</b><b class='flag-5'>環視</b>與ADAS<b class='flag-5'>系統</b>解決方案

    VR技術線上展現全景智慧城市,為商家和用戶提供全景多平臺展現

    VR、VR全景360全景、720全景、3D全景360全景
    發表于 06-25 17:30 ?1290次閱讀

    360全景環視系統整體解決方案

    360全景環視系統整體解決方案,和盲區說Bye-bye 360全景
    發表于 03-26 11:38 ?6325次閱讀

    莫之比8路360全景環視系統已在智軌上成功應用

    歷時一年多,我司與株洲中車的智慧軌道交通(智軌ART)戰略合作--8路360全景環視系統產品終于有了戰果。目前株洲、宜賓、哈爾濱等地都已開通智軌,我司十分榮幸在智軌交通上參與了項目研發
    的頭像 發表于 03-31 16:08 ?3556次閱讀
    莫之比8路<b class='flag-5'>360</b><b class='flag-5'>全景</b><b class='flag-5'>環視</b><b class='flag-5'>系統</b>已在智軌上成功應用

    360全景環視系統

    360全景環視系統說明資料
    發表于 10-25 16:27 ?6次下載

    “上帝視覺”的360全景影像該如何選?

    360°全景影像安全駕駛輔助系統定制化的解決方案,形成“上帝視角”,解決因為車身過大導致看不到,實現車身周圍360°的盲區可視,真正給駕駛員打造一個
    的頭像 發表于 03-15 11:52 ?1510次閱讀

    360全景環視發展歷程

    隨著圖像處理技術的不斷發展,360全景環視從無到有,從有到精。目前取得了大眾消費者的普遍認可。
    的頭像 發表于 01-14 17:35 ?2782次閱讀
    <b class='flag-5'>360</b><b class='flag-5'>全景</b><b class='flag-5'>環視</b>發展歷程

    全景環視原理說明

    本文主要介紹360全景環視系統的原理說明。
    的頭像 發表于 01-14 18:59 ?2111次閱讀
    <b class='flag-5'>全景</b><b class='flag-5'>環視</b>原理說明

    360°環視性能倍增!瑞芯微發布RK3588M智能車載全景環視方案

    如今,安全性的輔助功能逐漸成為影響消費者購買車輛的重要因素之一,不少車主越來越依賴可視界面來輔助行車,對新手司機而言尤為重要,可大大降低事故率,360°全景環視已經逐漸成為車輛新標配。隨著技術
    的頭像 發表于 09-28 15:50 ?2026次閱讀
    <b class='flag-5'>360</b>°<b class='flag-5'>環視</b>性能倍增!瑞芯微發布RK3588M智能車載<b class='flag-5'>全景</b><b class='flag-5'>環視</b>方案

    360全景環視發展歷程

    全景環視概念最早是由K.Kate,M.Suzuki,Y.Fujita,Y.Hirama等四人于2006年首先提出。這一概念提出后,馬上引起了國內外眾多汽車生產廠商和相關科研單位的注意。2007年
    發表于 01-14 17:22 ?7次下載

    360全景環視原理說明

    總述全景環視系統是通過安裝在汽車前、后、左、右四個廣角攝像頭采集的車輛四周的實時畫面,通過攝像頭內參標定,外參標定,魚眼圖像畸變矯正,全景模型拼接,亮度均衡等算法,形成一幅準確的2D拼
    發表于 01-17 09:51 ?24次下載
    百家乐官网娱乐网会员注册| 博彩网百家乐的玩法技巧和规则| bet365体育投注| 赌百家乐官网庄闲能赢| 百家乐桌子定制| 现金百家乐官网赢钱| 伟博百家乐娱乐城| 个人百家乐官网策略| 江山百家乐的玩法技巧和规则| 百家乐官网游戏世界视频| 百家乐庄闲路| 百家乐官网半圆桌| 威尼斯人娱乐城代理开户| 百家乐官网中的小路怎样| 大发888游戏是真的吗| 百家乐官网号破| 博九| 百家乐代理博彩正网| 百家乐官网怎样发牌| 大世界百家乐赌场娱乐网规则| 合肥百家乐官网赌博机| 大发888娱乐场骗局| 做生意的门的方向| 盐亭县| 长春百家乐的玩法技巧和规则| 百家乐官网赌博程序| 大西洋娱乐城开户地址| 百家乐经验在哪找| 百家乐官网是否有规律| 威尼斯人娱乐城惊喜| 百家乐官网证据| 百家乐纯技巧打| 赌百家乐官网到底能赌博赢| 棋牌网站| 视频百家乐信誉| 百家乐官网五湖四海娱乐城| 香港六合彩的开奖结果| 百家乐筹码免运费| 个人百家乐官网策略| 金道博彩| 百家乐77s|