一、多傳感器融合的先決條件

當(dāng)多種傳感器裝在同一輛車(chē)上時(shí)，使用同一個(gè)系統(tǒng)來(lái)采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準(zhǔn)識(shí)別同一個(gè)物體，需要對(duì)這些傳感器進(jìn)行統(tǒng)一時(shí)鐘和坐標(biāo)系，即最終實(shí)現(xiàn)：同一個(gè)目標(biāo)在同一個(gè)時(shí)刻出現(xiàn)在不同類(lèi)別的傳感器的同一個(gè)世界坐標(biāo)處。

圖1：傳感器融合先決條件

1、統(tǒng)一時(shí)鐘

確保所有傳感器數(shù)據(jù)在時(shí)間上的一致性，為后續(xù)處理提供同步基準(zhǔn)。關(guān)于時(shí)間同步的詳細(xì)內(nèi)容可見(jiàn)往期內(nèi)容：

《自動(dòng)駕駛：揭秘高精度時(shí)間同步技術(shù)（一）》

《自動(dòng)駕駛：揭秘高精度時(shí)間同步技術(shù)（二）》

2、統(tǒng)一坐標(biāo)系

統(tǒng)一坐標(biāo)系包含兩步，一是運(yùn)動(dòng)補(bǔ)償，二是傳感器標(biāo)定。

① 運(yùn)動(dòng)補(bǔ)償：確保數(shù)據(jù)時(shí)效性

運(yùn)動(dòng)補(bǔ)償是針對(duì)周期性采集數(shù)據(jù)的傳感器，如激光雷達(dá)（LiDAR），其數(shù)據(jù)采集周期可能長(zhǎng)達(dá)100毫秒。由于車(chē)輛在運(yùn)動(dòng)，采集周期的開(kāi)始和結(jié)束時(shí)刻，車(chē)輛的位置已經(jīng)發(fā)生了變化。這就需要對(duì)采集的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償，以確保數(shù)據(jù)反映的是車(chē)輛在某一固定時(shí)刻的環(huán)境狀態(tài)。

② 傳感器標(biāo)定：確立坐標(biāo)轉(zhuǎn)換

傳感器標(biāo)定是確保每個(gè)傳感器的數(shù)據(jù)都能準(zhǔn)確映射到世界坐標(biāo)系中的過(guò)程。它包括內(nèi)參標(biāo)定和外參標(biāo)定兩個(gè)部分。

二、多傳感器融合方法

在多傳感器采集系統(tǒng)中做好統(tǒng)一時(shí)鐘和統(tǒng)一坐標(biāo)系后，就可以將這些數(shù)據(jù)進(jìn)行融合了。關(guān)于具體做法，這里舉一個(gè)簡(jiǎn)單的例子：

1、相機(jī)與LiDAR融合

在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動(dòng)補(bǔ)償和時(shí)間同步后，通過(guò)多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺(jué)空間的映射。最后，整合深度信息與圖像像素?cái)?shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動(dòng)駕駛車(chē)輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。

2、融合方式

根據(jù)數(shù)據(jù)在整個(gè)流程中融合的不同位置，常見(jiàn)的融合方式可分為前融合、深度融合和后融合。

圖2：常見(jiàn)的融合方式

3、應(yīng)用場(chǎng)景

在多傳感器融合中，前融合、深度融合和后融合各有優(yōu)勢(shì)和適用場(chǎng)景。