前段時間Tesla正式“開除”毫米波雷達(dá),以純視覺實現(xiàn)FSD,引起不小熱議。包括Tesla以及Musk都曾公開表示,去除雷達(dá)的重要原因之一在于雷達(dá)輸出結(jié)果過于noisy。
相比于視覺以及Lidar,雷達(dá)輸出(比如點云輸出)存在更多雜點或者噪點,這一定程度上是由雷達(dá)的電磁散射特性決定的。某些場景下,反射,漫發(fā)射,多次反射,折射,繞射,衍射等豐富的電磁傳播方式使得在雷達(dá)接收端,大概率產(chǎn)生一定數(shù)量的虛假點云(ghost detections)進(jìn)而產(chǎn)生虛假目標(biāo)(ghost objects),這些虛假目標(biāo)將對雷達(dá)系統(tǒng)功能產(chǎn)生一定影響(比如虛假目標(biāo)導(dǎo)致的AEB誤剎車等),因此,如何抑制或減輕這些虛假點是提高雷達(dá)可靠性相當(dāng)重要的工作。
▲ 雷達(dá)多次反射引起的虛假目標(biāo)(橙色圈內(nèi))
事實上,虛假點按類型分有多種,這期重點關(guān)注4D雷達(dá)下多徑效應(yīng)引起的虛假點處理。我們按照傳播路徑,雷達(dá)多徑傳播可以大致分為兩大類:
Type 1
▲ Multipath Propagation Type 1
Type 2
▲ Multipath Propagation Type 2
Type 1與Type 2的主要差別在于主反射路徑(directpath)與多徑(indirectpath)之間的夾角不同,Type1夾角較小,而Type 2夾角往往比較大。通常,Type 1相較于Type 2更為常見,更具普遍性。本文主要討論Type 1多徑問題。
值得注意的是,雷達(dá)電磁傳播產(chǎn)生Type 2 多徑也不一定是壞事,它常常被用于“隱藏”目標(biāo)檢測與識別,這是其他車載傳感器(如camera和Lidar)難以做到的。
▲ Multipath 用于“隱藏”目標(biāo)檢測
當(dāng)然,多數(shù)情況下的多徑雜波需要被抑制。多徑抑制算法一般都是被動式方法,所謂被動式方法,說白了就是多徑導(dǎo)致的虛假點已經(jīng)產(chǎn)生,依賴算法識別這些虛假點并抑制,屬于亡羊補(bǔ)牢類型。廣義上,我將多徑抑制類算法分為基于模型的方法(model based)以及基于數(shù)據(jù)驅(qū)動的方法(data driven)兩大類。并且,每一大類又根據(jù)方法的個性不同分為多個小類,我拋磚引玉,做一些介紹。
需要注意的是,我們一般認(rèn)為多徑虛假目標(biāo)具有動態(tài)屬性,也就是說,一般靜態(tài)目標(biāo)不做多徑行為分析。這里的動靜態(tài)是依據(jù)大地坐標(biāo)系而非車輛坐標(biāo)系。
基于模型的方法(model based)
首先是基于幾何的多徑識別,這類方法依賴于電磁傳播的幾何表示,并總結(jié)歸納出所有可能的傳播路徑。在此基礎(chǔ)上識別目標(biāo)多徑傳播路線。這類方法應(yīng)用于車載效果不是很好,主要原因在于車載行駛環(huán)境多樣性使得幾何表示往往與實際真實情況不符。
▲ 多徑傳播,幾何表示
另一條常見思路就是識別環(huán)境道路邊界。比如高速護(hù)欄,隧道邊界,橋邊界等等??梢韵惹蠼膺吔?,然后將邊界外符合某些特征的運(yùn)動目標(biāo)視作ghost。至于如何識別道路邊界,一般的方法還是基于道路邊界反射的靜態(tài)點做多項式擬合,從而獲得到道路邊界估計。這類方法對邊界估計的穩(wěn)定性,魯棒性要求較高。
另外,這類方法的適應(yīng)范圍也比較窄,往往要求實際環(huán)境能夠形成清晰的反射邊界。
▲ 基于道路邊界的多徑目標(biāo)識別
▲ 道路邊界識別
另外,4D雷達(dá)具有較高的分辨率,同一目標(biāo)往往具有多個反射點。Daimler AG聯(lián)合Ulm基于高分辨雷達(dá)設(shè)計了一種多徑ghost識別算法。由于真實目標(biāo)range-doppler map表征的doppler分布應(yīng)該與shape估計的orientation基本一致。算法基于多徑ghost的運(yùn)動狀態(tài)(Motion State)與其反射點的多普勒分布(Doppler Distribution)不匹配這一特征來可靠識別ghost,感興趣的可以參考文獻(xiàn)[1]。不過該方法適應(yīng)場景類別也比較少。
▲ orientation與多普勒分布
對于上述基于模型的多徑目標(biāo)識別方法判斷的潛在多徑ghost,賦予其多徑概率,或者多徑目標(biāo)置信度,成為上層數(shù)據(jù)處理的判斷依據(jù)。
基于數(shù)據(jù)驅(qū)動的方法(data driven)
數(shù)據(jù)驅(qū)動類的方法主要是基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的監(jiān)督類學(xué)習(xí)算法。這類方法目前不是很成熟,可能也難以部署于當(dāng)前雷達(dá)嵌入式系統(tǒng),不過這類方法優(yōu)勢明顯,比如對應(yīng)用場景往往不做任何假設(shè),普適性強(qiáng),這對應(yīng)用環(huán)境千變?nèi)f化的車載雷達(dá)來講是巨大福音。
該類方法還屬于前沿技術(shù)研究方面,random forest, PointNet++以及CNN已被用于ghost識別。在機(jī)器學(xué)習(xí)(ML)方面,random forest已被證實是非常有效的分類器。而基于雷達(dá)柵格地圖(gridmap),CNN也可以用于ghost識別?;邳c云數(shù)據(jù),應(yīng)用PointNet++也取得相當(dāng)矚目的雜波抑制效果。理論上,只要數(shù)據(jù)集夠豐富,算法處理多徑類型的能力也越強(qiáng)。
我比較關(guān)注基于ML的多徑雜波抑制,原因在于:
比基于模型的方法具有更強(qiáng)的場景適應(yīng)性,不需要對場景做任何假設(shè);
復(fù)雜度略高于模型方法,但遠(yuǎn)低于DL;
算法具有可解釋性;
可以擴(kuò)展至非多徑雜波ghost抑制,一定程度上實現(xiàn)雜波抑制方法的統(tǒng)一;
當(dāng)然,挑戰(zhàn)也不小,比如特征提取是重中之重。
▲ 基于數(shù)據(jù)驅(qū)動的方法流程
這類方法通常分為3步,首先是運(yùn)動目標(biāo)識別,將detections做動靜區(qū)分(相對于大地坐標(biāo)系),一般來講,ghost目標(biāo)都是動態(tài)目標(biāo)。如下圖,在考慮本車車速,yawrate,雷達(dá)安裝位置等信息下,可以獲得動靜態(tài)目標(biāo)信息。
▲ 靜態(tài)目標(biāo)識別
第二步為特征設(shè)計,這里如果是深度學(xué)習(xí)類方法,特征是網(wǎng)絡(luò)自學(xué)習(xí)的(屬于Automated feature learning),對于ML類方法需要人工設(shè)計特征,下圖也提供了相應(yīng)的多徑識別特征設(shè)計參考。
▲ 特征設(shè)計
▲ 多徑特征分析及提取
第三步就是分類器分類,將分類類別設(shè)計為3類,包括真實運(yùn)動目標(biāo)(Real Moving(RM) Detection),靜態(tài)目標(biāo)(static detections)以及虛假目標(biāo)(ghost detections),送入訓(xùn)練完成的分類器分類將產(chǎn)生虛假目標(biāo)的分類概率。
▲ 分類效果示例
事實上,這些方法的普適性非常高,不僅適應(yīng)適用于多徑產(chǎn)生的虛假點,其他原因產(chǎn)生的虛假點同樣適用。
還有些更酷炫的基于DL的多徑ghost識別及抑制算法,比如文獻(xiàn)[2]將PointNet++引入多徑雜點抑制?;赑ointNet++的方法效果出眾,基本能夠非常好的保留真實動態(tài)點,抑制雜點,感興趣參考閱讀文獻(xiàn)[2]。
這類方法比較新穎,雖尚無法得到高效應(yīng)用及部署,但有利于打開思路,為多徑雜波抑制提供新途徑。
▲ PointNet++ Ghosts識別效果
小結(jié)
我們希望在多徑雜波抑制的解決方案上,需要滿足如下條件:普適,簡單,有效。
基于模型的傳統(tǒng)多徑抑制算法具有較強(qiáng)的可解釋性,思路清晰簡單,但適用場景有限(往往要求有能夠形成清晰的反射邊界,比如高速護(hù)欄等),另外還需要所假設(shè)的模型能夠與實際數(shù)據(jù)具有較好的匹配度。
基于數(shù)據(jù)驅(qū)動類的方法不需要假設(shè)任何模型,適用場景將大幅度擴(kuò)展,甚至能夠擴(kuò)展至非多徑引起的雜點抑制。由于目前深度學(xué)習(xí)類的方法暫無法直接部署至車載雷達(dá)系統(tǒng),因此,可以重點考慮機(jī)器學(xué)習(xí)類的方法,隨機(jī)森林已被驗證具有非常好的雜點抑制效果,所以矛盾點轉(zhuǎn)變?yōu)镸L類方法所必須關(guān)注的特征工程。只有設(shè)計合適的特征,配合隨機(jī)森林等ML算法,才能實現(xiàn)多徑ghosts乃至各類型雜點高效抑制。
[參考文獻(xiàn)]
[1] Roos F , Sadeghi M , Bechter J , et al. Ghost target identification by analysis of the Doppler distribution in automotive scenarios[C]// 2017 18th International RadarSymposium (IRS). IEEE, 2017.
[2] Chamseddine M , Rambach J , O Wasenmüller, et al. GhostTarget Detection in 3D Radar Data using Point Cloud based Deep NeuralNetwork[C]// International Conference on Pattern Recognition (ICPR) 2020. 2020.