吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

FPGA的瓶頸被突破,雙目的大規模應用即將到來!

佐思汽車研究 ? 來源:未知 ? 作者:李倩 ? 2018-06-06 10:54 ? 次閱讀

在1888年8月,奔馳創始人卡爾奔馳的妻子Bertha Benz開著丈夫發明的三輪內燃汽車從德國Mannheim到達Pforzheim,這次大約100公里的歷程標志著現代汽車的誕生。

125年后,2013年8月,奔馳沿著當年的路程,又走了一遍,不過這次是無人駕駛,為了向前輩以及前輩的賢內助致敬,奔馳將這輛基本沒改裝過的奔馳S500親切地稱之為Bertha。

Bertha的核心傳感器是一個1024*440像素的FOV為45度的雙目,奔馳將雙目基線長加大到35厘米,主要為了覆蓋更遠的距離,標準版S級雙目為30厘米。雙目的SGM和棒狀像素計算都使用FPGA完成,每幀圖像可以做到40萬個獨立深度測量。剩下的計算奔馳用一個FOV為90度的單目識別紅綠燈,用一個FOV為90度的單目做基于特征的輔助定位。另外還有4個120度的中距離毫米波雷達,KIT提供了高精度地圖,地圖包括限速、斑馬線位置、停止線、道路曲率等。由于是郊區行駛,奔馳只用了GPS,并未用外置慣性導航系統。這也是最接近量產的L4級無人車。

雙目相比單目有著壓倒性的絕對優勢,單目能做到的,雙目都能做到,單目卻做不到雙目的3D立體視覺。以紅綠燈檢測為例,Mobileye闖紅燈的視頻想必大家都看過了,識別紅綠燈是感知環節最難的技術點之一,百度和谷歌都是利用各自擁有的街景圖片庫資源,利用先驗信息,設定好ROI,以此提高識別紅綠燈的準確率。然而街景的更新速度很慢,在快速發展的中國或許不合適,在美國就比較合適。即便如此,Waymo也出現過闖紅燈的視頻,如果沒有街景配合,單純單目的紅綠燈識別率相當低。更致命的是,我國的紅綠燈千奇百怪,尤其是天津,一條路上有五種紅綠燈,簡直是無人車的噩夢。而V2X還遙遙無期。

目前有三種雙目識別紅綠燈方法,第一種是用目標候選區濾波法,在目標候選區分析視差值,將前景與背景分離,無需先驗知識。

第二種是關聯位置濾波法,這種方法需要先驗知識,就是統計紅綠燈的3維位置信息,特別是紅綠燈的高度,還有與斑馬線的直線距離,與路沿的直線距離。當無人車上線行駛時可以獲得目標的三維距離信息,與先驗知識庫做濾波。這種方法可以大幅度提高紅綠燈識別率。有時只需要紅綠燈的高度信息,相對街景,這個先驗知識可以輕松獲得。

第三種方法,即再投影法。將真實世界的紅綠燈建模,同時增加深度測量數據,將紅綠燈假想再投影到紅綠燈模型內,再配合深度測量數據判斷是不是紅綠燈。無論那一種,都要比單目好得多。

雙目的立體匹配幾乎都要用FPGA完成,懂算法又懂FPGA的人才非常罕見,FPGA價格也比較高,這限制了雙目的應用。加上FPGA廠家都位于美國,中國企業對此是有所顧慮的。美國對FPGA的銷售是睜一只眼閉一只眼,一旦較真起來,很可能買不到計算單元超過10萬的FPGA。單目的應用幾乎不用考慮硬件,價格低廉,因此應用遠比雙目廣泛。

不過這種現象將在未來幾年有大幅度改觀。全球前三大汽車處理器廠家的兩大都推出了專用雙目設計的處理器,這就是瑞薩的R-CAR V3H和NXP的S32V3系列。兩者都是在2018年3季度有樣片。雙目可以不用FPGA了。

先來看瑞薩的R-CARV3H。

R-CAR V3H目前已確定獲得日產和豐田的訂單,日產將全線使用R-CAR V3H,包括高速公路自動駕駛,遙控泊車,全自動泊車,塞車輔助,無限制條件的AEB(L2階段的限制條件極多)。

R-CAR V3H的運算能力達到4.2TFLOPS,超過Mobileye EyeQ4的3TFLOPS,制造工藝上R-CAR V3H擁有絕對優勢,臺積電的16納米FinFET工藝完勝意法半導體的28納米FD-SOI工藝。當然Mobileye EyeQ4比R-CAR V3H要早兩年,但R-CAR V3H還有強大的CPU系統,包含4個A53和一個擁有鎖步功能的R7,這就意味著R-CAR V3H應該能滿足ISO 26262 ASIL-A或B級標準而不是Mobileye那樣只能通過AECQ-100 1級標準。

上圖為R-CAR V3H的內部框架圖

R-CAR V3H針對L3+級車輛,包含了立體視差和光流硬核IP,效率與FPGA相當,或許比FPGA略好。

NXP計劃在2018年3季度推出S32V3的樣片,和V3H一樣也是立體視差和光流硬核IP。

S32V3最高可達ASIL-D級,安全等級遠超Mobileye。

S32V3內部框架圖

除了NXP和瑞薩這兩家頂級企業,還有行車記錄儀芯片巨頭安霸的產品,運算性能比Mobileye即將在2018年3季度問世的EyeQ5還要強。安霸在2015年以3000萬美元的價格收購了意大利初創公司VisLab,這家公司由意大利帕爾馬大學團隊創立。目前,其創始人Alberto Broggi教授擔任安霸自動駕駛業務的負責人。

安霸第一代自動駕駛用芯片CV1能夠對應兩個800萬像素的雙目立體視覺,運算力達到2TFLOPS。采用索尼的IMX317圖像傳感器,像素精度可達3840*1728,如此高的像素,即使在FOV為75度30厘米基線的情況下也可以達到300米的有效距離,遠超大部分激光雷達的有效距離。

激光雷達的有效距離與物體反射率關系極為密切,通常廠家只給反射率為80%時的有效距離,對于白色車輛,反射率可能只有10%,有效距離會縮短到80%時的1/3甚至更少。一般MEMS激光雷達在10%反射率下有效距離只有30到70米,機械旋轉型的略好。

CV1可以直接輸出一張視差圖,幀率每秒一幀。同時還內含路障或隔離柵檢測,路沿與車道線檢測,交通信號檢測,一般障礙物檢測。

CV1只是安霸試水作品,安霸在2018年初推出CV2AQ,運算性能提高10倍,大約為14TFLOPS,三星的10納米工藝制造,通過了AEC-Q100 2級標準。

這款芯片異常強大,可以同時處理3200萬像素的數據,可以同時對應6個雙目,包括兩個800萬像素的雙目和4個200萬像素的雙目。而CV1僅能對應1個800萬像素的單目。

隨著FPGA的瓶頸被突破,雙目的大規模應用即將到來!

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • FPGA
    +關注

    關注

    1630

    文章

    21796

    瀏覽量

    605998
  • 立體視覺
    +關注

    關注

    0

    文章

    37

    瀏覽量

    9810
  • 無人駕駛
    +關注

    關注

    98

    文章

    4089

    瀏覽量

    121005

原文標題:突破FPGA限制,雙目立體視覺時代即將到來

文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Veloce平臺在大規模SOC仿真驗證中的應用

    隨著現代集成電路技術的發展,尤其是IP的大量使用,芯片的規模越來越大,系統功能越來越復雜,普通的EDA和FPGA仿真在速度和性能上已經無法勝任芯片仿真驗證的要求,功能驗證已經成為大規模芯片設計的一個
    發表于 05-28 13:41

    大規模FPGA設計中的多點綜合技術

    大規模FPGA設計中的多點綜合技術
    發表于 08-17 10:27

    物理網時代即將到來

    物理網時代即將到來了,那對于物聯網來說,下面哪項才是最重要的呢?
    發表于 07-23 15:21

    FPGA系統功耗瓶頸突破

      突破FPGA系統功耗瓶頸  FPGA作為越來越多應用的“核心”,其功耗表現也“牽一發而動全身”。隨著工藝技術的越來越前沿化,FPGA器件
    發表于 10-23 16:33

    大規模MIMO的利弊

    (Multiple-Input Multiple-Output,MIMO)時,數據的傳輸速率可能會下降50%以上。大規模MIMO認為是5G網絡的關鍵支持技術之一。MIMO是無線通信中已被確立起來的技術,利用該
    發表于 06-18 07:54

    真正虛擬化的測控時代即將到來

    和工業現場的分布式測控網絡。而且有關MCN(Measurement and Control Networks)方面的標準正在積極進行,并取得了一定進展。隨著測量、控制過程的進一步網絡化,一個真正虛擬化的測控時代即將到來
    發表于 07-22 07:14

    恩智浦的無線連接主要體現在哪幾個方面?

    物聯網和人工智能(AI-IoT)已經到來,如何在這場即將到來大規模市場中取勝?恩智浦的無線連接主要體現在哪幾個方面?
    發表于 06-16 08:30

    解讀全球十大公司物聯網戰略,一個萬物智能的世界即將到來 精選資料分享

    解讀全球十大公司物聯網戰略,一個萬物智能的世界即將到來 互聯網時代已經過去,移動互聯網紅利已褪去,信息科技開始向物聯網轉變,為社會數字化帶來重大變革,并且物聯網發展席卷全球,視為未來科技發展重要
    發表于 07-28 06:07

    大規模FPGA設計中的多點綜合技術

    本文介紹了在大規模FPGA設計中可以提高綜合效率和效果的多點綜合技術,本文適合大規模FPGA的設計者和Synplify pro的用戶閱讀。
    發表于 01-17 10:36 ?38次下載
    <b class='flag-5'>大規模</b><b class='flag-5'>FPGA</b>設計中的多點綜合技術

    即將到來的iPhone8將是平面屏幕,而非曲面屏幕

    越來越多的分析師認為,即將到來的iPhone 8將會一個平面屏幕,而不是網上廣泛傳聞的曲面屏幕。
    發表于 03-14 11:05 ?534次閱讀

    5G即將到來 將面臨這些問題

    5G即將到來,但不是到處都是,并非全部都是,并且不是馬上就要使用這種技術的最快版本。事實上,可能的情況是,5G將首先在人口密集的城市地區推出,從2020年或者2021年開始,在此后的十年內將越來越廣泛地采用。
    發表于 04-18 16:06 ?5439次閱讀
    5G<b class='flag-5'>即將到來</b> 將面臨這些問題

    2020年即將到來,關于Linux和開源給出的五個預測

    2020年即將到來,Linux在接下來又會有怎樣的發展?Joey Sneddon 給出了關于Linux和開源的五個預測:
    的頭像 發表于 12-26 14:15 ?3614次閱讀

    小米“雙面屏”新設計曝光 暗示有望在即將到來的設備上采用

    近日,外媒LetsGoDigital曝光了小米的兩種“雙面屏”智能手機新設計,并且暗示有望在即將到來的設備上采用。
    發表于 01-15 11:10 ?854次閱讀

    無人機送貨的“人在家中坐,貨從天上來”場景或即將到來

    網友們戲稱無人機送貨的“人在家中坐,貨從天上來”場景或即將到來。隨著物資運輸壓力劇增、無接觸配送需求爆發的市場下,無人機展現出的靈活、便捷、安全、高效等配送價值令人驚嘆。未來,伴隨著技術、成本、政策等方面的相關瓶頸打破,無人機送貨時代或
    的頭像 發表于 09-01 10:53 ?2632次閱讀

    能量收集和物聯網發展的轉折點即將到來

    能量收集和物聯網發展的轉折點即將到來
    發表于 03-19 11:10 ?5次下載
    能量收集和物聯網發展的轉折點<b class='flag-5'>即將到來</b>
    澳门百家乐娱乐城怎么样| 全椒县| 大发888dafabet| 大上海百家乐娱乐城| 百家乐与21点| 致胜百家乐的玩法技巧和规则 | 太阳城娱乐管理网| 大发888游戏充值| 大发888娱乐城登录| 大发888蜜月旅行| 凤凰娱乐开户| 亳州市| 百家乐官网线上真人游戏| 百家乐官网怎样做弊| 百家乐官网庄家怎样赚钱| 58百家乐官网的玩法技巧和规则| 任我赢百家乐官网软件| 百家乐官网娱乐分析软件v| 百家乐投注网中国体育| 去澳门百家乐的玩法技巧和规则| 威尼斯人娱乐城代理| 998棋牌游戏| 百家乐官网视频世界| 百家乐官网德州桌| 百家乐官网娱乐平台网77scs| 百家乐官网桌布动物| 澳门百家乐真人版| 大发888充值500| 博彩网导航| 澳门百家乐官网大家乐眼| 实战百家乐官网的玩法技巧和规则 | 寒江博彩堂| 百家乐官网怎么玩高手| 沙龙百家乐官网赌场娱乐网规则 | 金海岸百家乐的玩法技巧和规则| 德州扑克 视频| 百家乐官网高手投注法| 百家乐官网tt娱乐平台| 八大胜百家乐现金网| 大发888棋牌官网| 手游|