2022汽車半導體生態峰會演講實錄|超威半導體花盛：AMD在高性能傳感器融合中的實踐/FPGA in High Performa

以“智鏈未來 本立而道生”為主題的“2022張江汽車半導體生態峰會暨全球汽車電子博覽會”由《中國汽車報》社主辦，張江高科、愛集微、浦東新區投資促進二中心承辦，11月7日-8日在上海張江科學會堂隆重舉行。

本屆峰會邀請了以半導體為核心的全球智能網聯汽車生態鏈企業高管、知名分析師與投資機構、中外行業大咖參加，瞄準新智能汽車與能源汽車技術前沿，就科創+產業+金融進行深度交流，為汽車半導體產業發展貢獻智慧和力量。同時，通過趨勢分享、前沿技術碰撞、投資邏輯解讀以及全球汽車電子博覽會，共同探討全球巨變下的汽車半導體產業鏈發展，為業界充分展示汽車電子最新發展成果與趨勢，打造國際化一流汽車半導體領域展示平臺。

其中，在11月7日舉辦的“感知專場”，超威半導體產品（中國）有限公司大中華區汽車業務拓展高級經理花盛做了題為《AMD在高性能傳感器融合中的實踐/FPGA in High Performance Sensor Fusion》的精彩演講，以下內容為現場演講實錄：

花盛：大家上午好，我是花盛，來自超威。我今天討論的主要主題是兩大部分，一個是AMD在高性能傳感器融合中的特點，然后是傳感器融合項目實踐的介紹。

超威半導體產品（中國）有限公司 大中華區汽車業務拓展高級經理 花盛 

首先介紹一下我們部門的主要板塊，第一部分是FPGA部分，第二部分是SoC部分，第三部分ACAP平臺，這個是以業界最領先的7納米技術集成的。在這三個大的業務模塊基礎之上，我們一直在思考一個問題，在整個汽車行業，哪些是我們的特點，以及我們可以提供哪些跟其他的競爭對手、行業伙伴不一樣的地方。我們思考下來主要分四個大的部分，首先第一個，高性能AI加速模塊，可以提供超低延時，可以帶來更高的精確性，這兩個特點能夠加速到這個部分的落地和實現。第二個部分，我們非常具有特色的一個可擴展性和靈活性，這個擴展性和靈活性可能大家覺得比較抽象，如果落實到具體地方，會發現在今天汽車行業里面是非常具有實現意義的。第三個部分，動態可配置的功能模塊，它是一個硬件可升級的過程，我們通常理解它在汽車上，其實是對于功能的修改或者對于BUG的改進，硬件可升級的意思，我可以做毫秒級別之間把功能模塊進行重構，我可以在不進行硬件大的變更的情況下，重構出具有新的功能、新的模塊的一個功能，這對于整車廠來講是非常又意義的，比如說未來在AD領域，無論是減少成本還是增加功能，包括提升性能，都需要對硬件進行一個非常重要的變更。第四個部分，功能安全和可靠性，在這個部分從我們第一天開始就跟國際一線的大廠、一線的OEM廠商進行合作。這四大業務特性是我們部門能夠給到汽車行業帶來的革新和我們不同的地方。

回到今天的主題，在傳感器融合領域到底是什么樣的情況，首先定義大家比較清楚，我不過多贅述了。左邊這張圖，除了激光雷達、毫米波雷達，包括攝像頭、傳感器的接入之外，每一種傳感器都有自己不同的特點特性，以及它所照顧的空間，尤其是各種物理特性、各種不同路況所決定的。但是不能保證任何一個傳感器可以照顧所有的內容，整個業界的方向是朝多傳感器融合以及多傳感器接入的方式進行演進。定義上是這樣，它的優勢在于，第一可以增加整個傳感器的安全性、精確性，以及帶來更具體的點云密度，帶來數據的可靠性、穩健性。同時它對于整個傳感器所能看到的視野帶來非常大的提升。

綜上來講，多傳感器融合是AD這個領域的典型方向，也是每個廠商和同業者都在努力的一個領域。同時我們也要看到，雖然傳感器融合是一個方向，但是同時帶來了非常多的挑戰，主要存在于三個方面，第一是安全性，包括數據安全和整個系統的穩健性。安全來講主要是兩大方面，第一是低延時，你需要提供足夠快的處理、更精確的時間，才能給后臺做更多融合性的工作，同時給后臺算法預留反應時間。還有它的冗余性，怎么樣保證數據融合、數據冗余以及數據斷路保護。第二個大的挑戰，對行業來講是多樣性。目前為止，整個行業并沒有一個準確的答案，大家都在進行多方的嘗試和探討。在多樣性的同時，每個傳感器都有自己的處理器，不同的處理器怎么樣進行任務調度，互聯互通的問題，怎么實現數據互融。還有效率問題，效率不僅僅包括帶寬、融合，最終怎么樣實現整個系統的高效可靠的運行，這是對多傳感器融合的挑戰和我們所需要解決的問題。

我們把挑戰講完了，我們AMD平臺怎么樣基于它的特性給整個傳感器融合領域提供哪些有幫助的地方。首先第一大部分，自適應性和可擴展性，自適應是我們面對新的需求、挑戰、功能要求的時候，同時我們能快速不需要進行大規模變更的基礎上，用我們當前的平臺能夠適應新功能，這是我們獨特的地方。同時不同的傳感器之間接口不同，帶寬不一樣，傳感器的特性不一樣，數據模式、數據格式都不一樣，怎么樣用我們的自適應特點對它進行融合，這是我們提供的優勢。包括不同的接口、標準、協議的需求，這是自適應和可擴展性在整個傳感器融合領域帶來非常大的挑戰。

第二個是異構計算，尤其是在汽車行業里面，異構計算我們可以在這個里面帶來的，一個是高精度的時鐘，高可靠性、超低延時的計算方式，對于整個傳感器融合，尤其是大數據量接入、高帶寬領域的話，它有非常顯著的優勢。

第三部分是并發機制，我們都知道它是并發性的，不需要頻繁垂直的讀取，不需要通過固定的計算模式進行，所有的計算模式取決于當前落地的邏輯，在底層芯片里面來實現。我們進行的每一種計算都可以進行重構，可以進行重新的設計，為當前的應用重新定制化一款計算芯片或者一個計算類型，這個是FPGA可以做到的，而且是FPGA特性的地方。

最后一個部分是AI加速領域，FPGA可以做更多的AI加速部分，而且AI不僅僅是后面需要動輒上百兆算力的地方，你會發現很多數據相關的算法需要AI的加速，來對結果模型優化，把這個數據或者說這些算力更多的卸載，來減輕后面AI算力的一些負擔。這是我們整套平臺能夠帶來的非常顯著的優勢。

我們來看一下功能模塊，這是從L2到L4演進大的模塊基礎，最左邊是各種各樣的傳感器，無論是數量多少還是品種多少，基本上可以通過物理方式換芯片，接入到我們多傳感器模塊里面。進行融合之后，再跟后面的AI加速模塊或者高性能的處理器模塊進行結果模型預算等等。今天咱們討論的主題，使用AMD這套平臺或者我們這個算力的特性，其實是非常有效的可以解決大帶寬、數據的并行流水以及低延時的特性。在這個地方更多的是傳感器融合，包括不同數據格式的規劃，都是我們可以做的。這樣一個功能模塊，更多關注的是左上角紅色的部分。

這是一線大廠考慮的功能模塊，以及傳感器的數量、類型，具體的數量不一一贅述的。第一數量非常龐大，而且數量非常多，前向最少2顆，后向使用激光雷達、毫米波雷達。使用這么多傳感器的同時，我們整套架構怎么去做？我們會把它劃分成以下的幾個方向，首先是我們左邊的邊緣側傳感器部分，包括各種各樣CBS鏡頭，包括激光雷達和毫米波雷達，包括各種定位模塊，這種都是傳感器。傳感器第一層把它放到數據捕捉，里面包括傳統的數據接入、硬件通道怎么打通，包括下面是ISP的處理，下面還有通常的激光雷達或者毫米波雷達怎么進行連接，包括千兆級別或者萬兆級別以太網，都是在第一級完成。

第二個，做數據融合，包括3D模型構建，這些功能模塊可以分別在第二大部分來完成。完成這個部分之后，另外有兩個小模塊，本地我們可以進行處理的視頻流，或者需要做一些，比如說圖像增強或者本地的一些圖像優化，或者是我可以做一些裁剪，直接可以做到后面需要實時顯示的地方。有了電子后視鏡，很多情況下我并不需要后臺AI單元深度參與，我可以后面去做實時的顯示。

還有下面一個，FPGA本身這個部分或者我們大的計算平臺本身，里面可以完成部分的深度運算，都是非常具有特點和能夠充分發揮計算類型和計算特點、計算效率的一些優勢，這些部分都可以由它完成。如果全部丟到后面的AI加速單元里面去，第一是算力有限，第二是計算能力、計算類型并不適合某一類場景，這個更適合放在IPA這個部分。我們目前在做的，或者我們這個部門能夠做的，四個框的地方，這個框問題的話，你會發現這里面除了剛才說的幾個功能模塊之外，任何一個功能模塊如果需要我這邊處理，我可以進行本土化處理、本土化運算，如果不需要處理的話可以放到AI加速單元里面去。

還有冗余安全和可靠性，這里放了一些證書，我們整個完成證書、完成結果，包括流程認證、工具認證、芯片認證，最終都是結果。實際上我們怎么樣服務客戶，服務客戶達到安全體系，這是核心的能力和需求。我們在國內完成培養這套團隊，對于整個汽車產品流程沒有特別清楚的認識，我們一樣接過一兩年的服務，讓他們通過功能安全認證，我想整個平臺是非常具有意義的。

講完了融合部分的特性，再講這個平臺上AMD做了哪些嘗試，以7納米Versal器件為例，左上角是ARM處理器的部分，中間紅色部分是傳統的邏輯器件，剛才我們說的一系列的動作，雙位運算、實時接入、低延時的特性，都是在紅色的邏輯模塊里面完成。右邊綠色部分是我們的AI加速單元，它可以進行一些我們所需要的，無論是IT相關的，還是結果相關的，包括需要本地點云識別相關的AI運算都可以在這里面完成。同時可以完成從低到幾十兆、高到兩百兆算力都可以在AI加速單元里面完成。下面是外設。

基于這樣一個平臺，我們做了哪些構件？首先我們做的這個，我們以四顆200萬、兩顆800萬像素，基于這套硬件我們把結果融合之后，放到后面Host PC里面去，我們更多的是聚焦在傳感器融合這個部分，這個是硬件架構。我們看一下軟件部分做了哪些東西，先從下面開始說，接入了激光雷達，同時把毫米波雷達接入進來，這是我們的接入部分，同時會產生時鐘同步信號。經過同步之后，我們跟后面四個200萬和兩個800萬的傳感器給它做同步曝光，把數據進行寫入和訪問。我們本地除了完成接入之外，我們還有圖像解析的部分。我們下面還做了數據的規劃管理，這個傳感器數據，包括毫米波雷達數據進來之后，需要算法相關的，我們構建一套數據，對它進行數據化規劃。這是第一代的項目，來做一個嘗試。

其實我們這邊沒有把AI加速單元包含進來，這是我們準備放在第二步做的。下一步我們會把內部的AI加速器模塊充分利用起來，把這個加入進來，去做一些運算、點云，都可以在里面構建和實時訪問。這是第二步。因為今天的關系，歡迎整個行業和伙伴跟我們討論，我們希望在這個平臺上大家一起共同前進，把傳感器融合的領域往前更深一步，這是我們有待嘗試去做的一些地方。

這個是我們UI大概做的，是我們實驗室的圖，上面劃紅圈的地方是每一幀圖像的幀號。這是UI，左邊是兩個800萬，因為800萬像素我們選擇廣角和長焦，中間放了四個200萬像素，右上角和右下角分別放毫米波雷達和激光雷達。本身數據數量和類型是非常龐大的，整個平臺的優質我們還沒有完全發揮出來。

這是一個演示的視頻，因為這個時鐘同步的關系，你會發現每個時鐘沒有完成一樣，你把它截圖或者暫停以后，發現時鐘是相同的。

總結下來，今天討論的主題，第一傳感器融合是我們整個行業的路徑和趨勢，但同時也面臨著非常多的挑戰，這個挑戰我們這個平臺，計算的特點決定了它非常有優勢，歡迎大家跟我們一起討論，希望在這個平臺上做更多的嘗試。

最后用一段視頻來結束我今天的部分，謝謝大家。

（注：以上速記內容未經本人確認）