激光雷達(dá)與車載攝像頭感知沖突應(yīng)以哪個(gè)為準(zhǔn)？

在自動(dòng)駕駛系統(tǒng)中，傳感器感知層的可靠性直接關(guān)系到車輛的安全與行駛效率。激光雷達(dá)（LiDAR）和攝像頭（Camera）是當(dāng)前自動(dòng)駕駛平臺(tái)上最常見的兩種感知設(shè)備。它們各自擁有不同的工作原理和優(yōu)勢(shì)，也存在各自的局限性。最近有位小伙伴在文章留言區(qū)提了這么一個(gè)問題，那就是當(dāng)兩者在同一場(chǎng)景下出現(xiàn)感知結(jié)果不一致甚至相互沖突時(shí)，系統(tǒng)究竟應(yīng)該“信任”哪一方的數(shù)據(jù)（相關(guān)閱讀：純視覺的自動(dòng)駕駛會(huì)有哪些安全問題？）。非常感謝這位小伙伴的留言，今天智駕最前沿就和大家來聊聊這個(gè)話題。

是否會(huì)沖突？

在聊應(yīng)該以哪個(gè)為準(zhǔn)前，我們要先知道，激光雷達(dá)與車載攝像頭是否會(huì)出現(xiàn)感知沖突的情況。可以明確的是，感知沖突一定會(huì)發(fā)生！激光雷達(dá)與攝像頭常常會(huì)因?yàn)楦髯怨ぷ髟砼c環(huán)境適應(yīng)性的差異而產(chǎn)生感知沖突。換言之，它們?cè)谕粫r(shí)刻對(duì)同一目標(biāo)給出的信息并非總是完全一致，而是有可能出現(xiàn)無法同步或判斷不一致的情況。這種沖突并不意味著系統(tǒng)故障或安全失控，而是多傳感器組合在面對(duì)復(fù)雜、動(dòng)態(tài)的外界條件時(shí)，必然會(huì)遇到的信息“矛盾”。

夜間行駛時(shí)，攝像頭受限于可見光照度，圖像噪聲明顯增多，細(xì)節(jié)丟失嚴(yán)重，往往難以識(shí)別遠(yuǎn)處障礙物或車道線；與此同時(shí)，激光雷達(dá)仍能穩(wěn)定地通過發(fā)射激光脈沖獲取三維距離數(shù)據(jù)，準(zhǔn)確繪制周圍環(huán)境的空間結(jié)構(gòu)。相反在雨天或積水路面上，激光雷達(dá)的激光信號(hào)可能被水面反射或散射而產(chǎn)生虛假點(diǎn)云，誤將水面或遠(yuǎn)處的反光物當(dāng)作障礙物；而攝像頭則憑借影像的明暗與紋理差異，更容易區(qū)分水面與實(shí)體障礙。這兩類極端場(chǎng)景都說明，單一傳感器在不同環(huán)境下的性能會(huì)出現(xiàn)較大波動(dòng)，由此產(chǎn)生的沖突在所難免。

除了天氣與光照的影響，傳感器采樣的時(shí)間同步與空間標(biāo)定也會(huì)造成沖突。激光雷達(dá)與攝像頭如果在采樣時(shí)刻存在毫秒級(jí)別的偏差，或者在安裝標(biāo)定時(shí)的外參精度不夠，投影到同一個(gè)坐標(biāo)系后就會(huì)出現(xiàn)“位移”現(xiàn)象，使得系統(tǒng)認(rèn)為它們檢測(cè)到的是不同的物體。再加上車輛行駛速度越高，時(shí)間同步與空間對(duì)齊的誤差就越容易被放大，從而進(jìn)一步加劇了感知結(jié)果的不一致。

更為復(fù)雜的是遮擋與視角差異帶來的沖突。某些目標(biāo)在攝像頭視野中可能被車輛A柱、側(cè)鏡或泥點(diǎn)部分遮擋，而激光雷達(dá)的點(diǎn)云卻能繞過這些小障礙物無損捕捉目標(biāo)輪廓；反之，如果目標(biāo)表面具有高度吸光或透明特性，激光雷達(dá)回包信號(hào)微弱甚至丟失，這時(shí)攝像頭的影像識(shí)別反而更加可靠。正是這類角度與材質(zhì)上的差異，使得多傳感器感知結(jié)果天然存在不一致。

應(yīng)以哪個(gè)為準(zhǔn)？

在聊應(yīng)該以哪個(gè)為準(zhǔn)前，需要先了解激光雷達(dá)和攝像頭在感知方式上的根本差異。激光雷達(dá)通過激光脈沖測(cè)量與周圍物體之間的距離，能夠直接獲得高精度的三維點(diǎn)云數(shù)據(jù)，對(duì)物體的空間位置和形狀進(jìn)行準(zhǔn)確建模；而攝像頭則是以可見光為媒介，根據(jù)捕捉到的圖像信息，通過圖像處理和神經(jīng)網(wǎng)絡(luò)算法來識(shí)別物體類別、車道線、交通標(biāo)志等。簡(jiǎn)而言之，激光雷達(dá)擅長(zhǎng)“量化”空間結(jié)構(gòu)，攝像頭擅長(zhǎng)“識(shí)別”外觀特征。

但任何一種傳感器都不可能在所有環(huán)境條件下都保持完美性能。正如前文所述，激光雷達(dá)在遇到強(qiáng)反射面（如雨刷上的水膜、路面積水）或鏡面玻璃時(shí)，可能會(huì)產(chǎn)生強(qiáng)烈的多路徑反射，導(dǎo)致部分點(diǎn)云“跳點(diǎn)”或丟失；在強(qiáng)烈塵霧或大雪天氣中，激光脈沖被氣溶膠散射，使得探測(cè)距離和精度急劇下降。相對(duì)而言，攝像頭在弱光甚至近乎漆黑的環(huán)境中，圖像信噪比大幅降低，目標(biāo)識(shí)別容易發(fā)生誤檢或漏檢；遇到直射陽光或逆光照明時(shí)，影像會(huì)出現(xiàn)眩光和高反差區(qū)，也會(huì)嚴(yán)重影響算法對(duì)車道線和前方車輛的檢測(cè)能力。

現(xiàn)階段，多傳感器融合（Sensor Fusion）技術(shù)被廣泛應(yīng)用，以期綜合各方優(yōu)勢(shì)、彌補(bǔ)各自短板。當(dāng)激光雷達(dá)和攝像頭輸出相互矛盾的信息時(shí)，融合算法需要在最短時(shí)間內(nèi)做出“裁決”。常用的策略之一是基于置信度（Confidence）的加權(quán)融合，系統(tǒng)會(huì)為每一種傳感器在當(dāng)前環(huán)境下的感知結(jié)果計(jì)算一個(gè)可信度分值，根據(jù)該分值動(dòng)態(tài)調(diào)整對(duì)各自數(shù)據(jù)的信任程度。比如在夜間或隧道內(nèi)行駛時(shí)，攝像頭的置信度會(huì)下降，而激光雷達(dá)的相對(duì)穩(wěn)定性提升；在細(xì)小目標(biāo)（如遠(yuǎn)處行人）的檢測(cè)上，如果雷達(dá)點(diǎn)云稀疏，攝像頭識(shí)別更可靠，其置信度會(huì)相應(yīng)提高。

除了置信度加權(quán)之外，更高級(jí)的融合框架還會(huì)引入貝葉斯濾波、卡爾曼濾波等概率推理方法，將激光雷達(dá)和攝像頭分別獲得的測(cè)量值看作“觀測(cè)”，在時(shí)間序列上進(jìn)行平滑和預(yù)測(cè)，從而在感知結(jié)果產(chǎn)生偏差時(shí)，通過前一時(shí)刻和后續(xù)信息對(duì)沖突進(jìn)行平滑化處理。這樣既避免了突然拋棄某一傳感器的所有數(shù)據(jù)，也提高了對(duì)動(dòng)態(tài)目標(biāo)跟蹤的魯棒性。

在具體實(shí)施時(shí)，系統(tǒng)架構(gòu)往往分為“低層融合”和“高層融合”。低層融合通常發(fā)生在傳感器原始數(shù)據(jù)階段，將圖像與點(diǎn)云投影到統(tǒng)一坐標(biāo)系后進(jìn)行像素或點(diǎn)級(jí)別的匹配；高層融合則在物體檢測(cè)結(jié)果或語義分割之后，將兩個(gè)來源的檢測(cè)框、分類標(biāo)簽和軌跡信息合并，以獲得更高層次的認(rèn)知。沖突判斷往往在高層融合階段進(jìn)行，若兩個(gè)檢測(cè)結(jié)果在空間位置、速度或類別判斷上出現(xiàn)顯著差異，系統(tǒng)會(huì)觸發(fā)沖突處理模塊，進(jìn)一步依據(jù)預(yù)設(shè)規(guī)則或?qū)W習(xí)模型進(jìn)行最終判斷。

再回到“當(dāng)沖突發(fā)生時(shí)，應(yīng)該以哪個(gè)數(shù)據(jù)為準(zhǔn)”這個(gè)問題，其實(shí)并不存在“一刀切”的答案，而是要結(jié)合當(dāng)時(shí)的環(huán)境條件和車輛當(dāng)前的行駛狀態(tài)。比如，當(dāng)系統(tǒng)檢測(cè)到前方是低反光或鏡面材質(zhì)的障礙物時(shí)，激光雷達(dá)的點(diǎn)云可能會(huì)產(chǎn)生明顯畸變或空洞，此時(shí)就應(yīng)更倚重?cái)z像頭的識(shí)別結(jié)果；而當(dāng)前方處于夜間、強(qiáng)霧或強(qiáng)光環(huán)境中，攝像頭的可用信息急劇減少，則應(yīng)更多依賴激光雷達(dá)的距離測(cè)量。

為了保障安全，還需在自動(dòng)駕駛系統(tǒng)設(shè)計(jì)中納入“傳感器健康監(jiān)測(cè)”機(jī)制。該機(jī)制實(shí)時(shí)評(píng)估各傳感器的數(shù)據(jù)質(zhì)量，當(dāng)發(fā)現(xiàn)某傳感器持續(xù)輸出異常信息或置信度長(zhǎng)期偏低時(shí)，車輛會(huì)自動(dòng)進(jìn)入“降級(jí)模式”或“安全停車模式”，并在必要時(shí)發(fā)出警告提示，要求人工接管。這樣既避免了在感知沖突時(shí)因誤選而帶來重大風(fēng)險(xiǎn)，也為整個(gè)自動(dòng)駕駛平臺(tái)的容錯(cuò)設(shè)計(jì)提供了最后一道防線。

除了技術(shù)層面的融合策略，在硬件配置時(shí)還要關(guān)注傳感器的布局、校準(zhǔn)和同步。LiDAR與攝像頭之間的外參（位置和姿態(tài)關(guān)系）必須精確標(biāo)定，否則即便融合算法再先進(jìn)，也無法解決因?yàn)樽鴺?biāo)映射不一致帶來的固有偏差。此外，時(shí)間同步也至關(guān)重要，只有保證兩者的采樣時(shí)刻相差在毫秒級(jí)別，才能在高速行駛時(shí)避免因時(shí)間戳錯(cuò)位造成的物體“漂移”現(xiàn)象。

在未來的自動(dòng)駕駛系統(tǒng)中，隨著毫米波雷達(dá)、超聲波傳感器、慣性測(cè)量單元（IMU）等更多形式的傳感器加入，感知平臺(tái)將更加多元。但激光雷達(dá)與攝像頭依然會(huì)是核心組合，如何在沖突時(shí)做出最優(yōu)抉擇，也將持續(xù)成為研究熱點(diǎn)。相信隨著深度學(xué)習(xí)與優(yōu)化算法的不斷進(jìn)步，以及在大規(guī)模道路測(cè)試中積累的經(jīng)驗(yàn)，融合層面的智能化水平會(huì)日益提升，從而為自動(dòng)駕駛安全保駕護(hù)航。

最后的話

當(dāng)激光雷達(dá)與攝像頭感知出現(xiàn)沖突時(shí)，并不能簡(jiǎn)單地以某一方數(shù)據(jù)“絕對(duì)為準(zhǔn)”，而應(yīng)采用動(dòng)態(tài)置信度加權(quán)、多層級(jí)概率融合、傳感器健康監(jiān)測(cè)等手段，結(jié)合當(dāng)前環(huán)境與運(yùn)行狀態(tài)，做出最合理的決策。只有在系統(tǒng)設(shè)計(jì)之初就充分考慮各傳感器的特性與局限，嚴(yán)格執(zhí)行標(biāo)定與同步，并構(gòu)建完善的沖突處理邏輯，才能在千變?nèi)f化的道路場(chǎng)景中，最大程度地保障自動(dòng)駕駛車輛的安全與可靠。

若大家對(duì)自動(dòng)駕駛還有什么想問的，也歡迎在評(píng)論區(qū)留言，智駕最前沿將和大家一起討論！