2023汽車半導體生態峰會 || 軒轅智駕鄧行：紅外熱成像技術在智能駕駛領域的應用和展望

以“鏈啟芯程 · 智造未來”為主題的“2023汽車半導體生態峰會暨全球汽車電子博覽會”，由廣東省工業和信息化廳、深圳市工業和信息化局、中國能源汽車傳播集團指導，《中國汽車報》社主辦，愛集微承辦，于2023年9月26日至27日在深圳福田會議中心隆重召開。

本屆峰會堅持行業領袖峰會的高端定位，全面助力產業間深度融合與創新，推動上下游產業鏈伙伴攜手合作，共同構建具有全球競爭力的汽車科技創新新生態。

峰會現場，多領域、多視角開展的20場特色活動，囊括主峰會、技術研討、項目路演、專業展覽、交流盛宴等，匯聚政、產、學、研、用、投等多個產業圈層，圍繞全球及中國汽車半導體產業熱點展開交流，峰會重點聚焦新技術、新趨勢，深入剖析汽車半導體各細分領域的發展機遇和挑戰，近百個精彩紛呈的演講，共同呈現出一幅專業而全面的思維圖景。

其中，在9月26日舉辦的“感知專場”， 武漢軒轅智駕科技有限公司產品總監鄧行做了題為《紅外熱成像技術在智能駕駛領域的應用和展望》的精彩演講。以下內容為現場演講實錄：

鄧行：非常感謝主辦方的邀請，我給大家分享一下紅外熱成像技術在智能駕駛領域的應用和展望。

武漢軒轅智駕科技有限公司產品總監 鄧行

什么是紅外熱成像技術呢？自然界中一切溫度高于絕對零度的物體都能輻射紅外能量，比如現在在場的所有人和物體，都有熱輻射在對外輻射，它也是一種被捕捉的方式。我們的產品原理就是將紅外熱成像轉化成電信號，經過圖象處理形成2D的可見熱像圖，并且反映出物體表面的溫度和分布的狀態。

這是紅外熱成像產品的功能和應用。紅外熱成像的主要特點是全時感知，它在夜間無光、對向眩光、光線突變的環境下依然是可以正常成像，它是屬于對外界物體溫度的檢測，不受光線的影響，尤其是再也見環境和對向眩光的環境，這是它最大的特點。

這是在全天候場景的應用，因為它是8到14微米的波長，屬于長波的紅外。它的波長是大于可見光，大氣穿透能力更強，在霧霾的天氣條件下依然可以清晰成像，解決了普通可見光傳感器在這種環境下的痛點。

根據專業的機構統計，全國每年因為夜間的交通事故和霧天的交通事故傷亡的人數是非常高的。我們的產品的主要特點就是可以解決在夜間駕駛、惡劣天氣、光線突變的情況下，解決駕駛員視野受影響，通過我們的設備提升駕駛員的視野，可以有效預防事故的發生。

這是我們的解決方案的系統構成，它通過10萬像素和30萬像素的攝像頭，加上一個控制核，進行預警。右下角是我們的產品工作狀態，它可以通過對人和車輛的檢測，通過預警的方式給到駕駛員提醒。

這是我們跟其它傳感器的對比，我們的紅外熱成像傳感器不是要替代可見光、雷達、毫米波雷達的產品，而是作為這幾個傳感器的冗余和補充。在空間分辨率和穿透能力方面它都不是最強的，屬于中間階層，但是它可以有效彌補夜間的眩光、低照度、雨霧雪天氣下的功能失效問題。

這是我們跟可見光傳感器在不同場景下的對比，包括陰天、白天、早高峰、晚高峰、隧道、環島的對比。包括在雨天、夜晚，可見光對雨珠的折射，對前面的成像有很大的影響，而我們的紅外依然是可以成像的。

這是我們在智能駕駛領域的應用，在多傳感器里面主要是做紅外的行人檢測、車輛檢測。

紅外熱成像應用的發展歷史。從2000年開始，國外已經有廠商推出紅外熱成像，當時在BBA這種高端的車型上才會匹配。到了2022年，紅外熱成像國產化以后，國內的很多自主品牌發現了這種產品的價值，也就有了更多的應用。

這是行業的調研，預測到2024年搭載紅外熱成像產品的車輛將超過50萬臺。

說到紅外熱成像，就介紹一下我們的母公司。我們的母公司高德紅外集團，是規模化從事紅外核心器件、紅外熱像儀、大型光電系統研發、生產、銷售的高新技術上市公司，目前在全球的紅外熱成像市場排名第二位，第一名是美國的菲力爾（FLIR）。我們的年銷售額超過32億，公司是1999年成立的，有24年的發展歷史，并且集團有4000名員工，研發占比超過60%，集團市值400億，在A股主板上市，擁有核心的MEMS潔凈廠房2萬平方米，占地200余畝。

軒轅智駕是高德紅外的子公司，我們從2016年開始專注于汽車高級輔助駕駛系統和智能座艙兩大品類。我們最早是做軍工產品的，包括夜視槍瞄、導彈跟蹤的技術，后來我們發現這個產品應用在車載領域也是很有前景和推廣價值的，它可以提升夜間、低照度的視野，解決黑夜、霧霾、強光、眩光的復雜情況，所以我們就成立這樣一個公司來推廣這個產品。

這是紅外熱成像的發展歷程，第一代在2015年推出，用的還是國外的進口探測器，到現在第四代產品，我們自研晶圓PLCC封裝，體積做到和可見光攝像頭大小差不多。它的尺寸越來越小，越來越輕量化，更便利于主機廠的安裝和使用。隨著探測器的集成度提高，它的成本也越來越低，性價比有很大的提升。

這是我們的紅外算法的介紹，我們通過傳感器輸入一個圖像，神經網絡特征提取，對數據霍去病處理，然后輸出一個碰撞預警功能。我們的產品可以對超過120米的車輛、超過90米的行人檢測，誤差小于5%。

這是我們目前產品的指標，包括智能算法的兩個核心指標：目標檢測、目標跟蹤，對人可以達到97%，對車可以達到95%，包括檢測率、召回率、跟蹤精度，都是跟可見光基本接近的。紅外熱成像和可見光屬于兩種不同場景的傳感器，可見光在白天的指標更好，紅外熱成像這邊是屬于全天候場景下的指標。

這是我們的算法數據庫的樣本規模，做算法離不開數據量，數據累積得越多，精度、能力肯定是更強的。目前我們總共有158萬幀的數據，人有120萬、車有150萬，此外我們也做了動物的檢測，我們做了50萬的樣本，包括騎行人有50萬、動物30萬，包括其它異形的車輛有20萬的標注。

紅外是對溫差的感知，它對天氣的要求是很高的，我們的數據在晴天占50%，多云、雨天、霧霾天等不同的環境下都有采集數據，它的泛化能力還是很強的。

這是我們公司的核心能力，我們是具有完全可控自主知識產權的紅外探測器批產線。我們目前的潔凈廠房有2萬平米，核心設備400余套，有4臺8英寸的光刻機、2臺ASML的光刻機。我們全面掌握了讀出集成電路設計與仿真、MEMS設計與加工、MEMS封裝測試及應用的全套技術，年產能可達千萬只，低成本可廣泛普及應用，同時我們的產品通過了德國的專業認證，在質量方面也是有保證的。

這是我們的紅外標準的建立。因為我們在紅外領域做得比較早，時間比較長，現在包括《乘用車夜視系統性能要求及試驗方法》《汽車用被動紅外探測系統》的標準都是我們建立的，《乘用車夜視系統性能要求及試驗方法》這個標準已經通過了評審，在年底就會發布。右邊這個是我們為了配套車廠的制造能力做的自動化車載產品線，這也是國內首個紅外自動化生產線。

這是我們的合作成功案例，第一個是東風猛士，該車型全系標配了紅外夜視攝像頭，今年7月底已經做了成功的SOP。

第二個是廣汽埃安，昊鉑車型搭載了我們的紅外攝像頭，這個產品是今年8月底SOP的。

這是商用車的應用案例，我們跟百度旗下干線物流品牌DeepWay合作，它用我們的紅外探測器去做L3甚至L4的自動駕駛。

這是紅外熱成像的應用展望，其實紅外熱成像在國外很早就有應用，國外的出貨量目前有上百萬，包括今年NCAP在美國也強制提出對夜間場景行人、車輛的識別要求，紅外的能力可以更好地匹配它們的要求。

紅外還可以做目標檢測跟蹤、報警決策、語義分割、車道線檢測、雙光融合，以及跟SDK的適配，加一個控制核做應用，可以做ARM+GPU的部署，ARM+NPU部署，以及單ARM方案，我們和華為、英偉達的平臺都做了適配，可以滿足不同應用場景的需求。

這是紅外的應用場景，通過紅外和可見光的融合，實現全天候場景對道路的識別，雙目融合有一個高程信息，對路面的坑道或者減速帶都會有檢測，通過檢測反饋之后對懸架進行自適應調節，對行車進行更舒適的保障。

這是我們的智能座艙的應用，因為紅外的測溫原理，它對車內熱源的感知，可以做空調的智能調節，包括上車前提前調整車內的環境，根據駕乘人員的表面溫度變化進行空調自適應的調節，以及通過對車內各個溫度點的實時監控，對車內的空調開關，對整車進行節能增效。現在新能源車要省一度電，它可以跑很長的公里數。此外可以實現人體檢測、兒童移動保護等功能。

這是紅外在SLAM（即時定位與地圖構建）中的應用，尤其是在地庫環境下，有些地庫沒有網絡，可以通過紅外建圖進行定位導航。

這是多模態傳感器的數據融合，通過一個深度紋理的特征融合，增強重建網絡，相當于對產品進行一個更加精確的定位。

這是BEV空間特征建構。BEV現在都是可見光的方案，我們希望通過紅外增加一維的感知信息，形成更加精確的判斷。

這是雙光融合，主要是彌補可見光在進出隧道或者是比較惡劣環境下，以及低照度環境下的功能失效問題，提高感知精度，增強檢測的能力。

這是雙目的立體融合，通過兩個紅外、兩個可見光形成稠密的點云深度圖，形成高精度的探測，它就會有一個距離信息，這時候對AEB的功能判定就會更有幫助。

這是我們最終的方案，做一個多傳感器融合，通過紅外和可見光、激光雷達、毫米波、超聲波做一個融合，有效地彌補其它傳感器在非常規天氣下的功能失效缺陷，有效提高行車的安全等級，這是我們和廣汽埃安正在合作的一個項目。

目前自動駕駛已經推廣到L3的應用，做到L3之后，對傳感器的要求會更高。紅外熱成像技術也是希望作為自動駕駛傳感器里面的一個不可或缺的部分，推進智能駕駛的技術革命。