車載雙目攝像頭如何“看見”世界？

[首發(fā)于智駕最前沿微信公眾號]想要讓車輛知道前方有什么、距離多遠(yuǎn)、是否可以靠近，首先要做的是讓其“看”清楚環(huán)境。在眾多車載感知硬件中，與人類看到世界最類似的一個(gè)感知硬件便是車載雙目攝像頭了。

圖片源自：網(wǎng)絡(luò)

車載雙目攝像頭（也稱立體視覺攝像頭，Stereo Camera）模仿人眼的視覺機(jī)制，通過兩個(gè)略有間距的攝像頭同時(shí)拍攝同一場景，比較兩幅圖像之間的差異，從而計(jì)算出深度信息。

與單目攝像頭只能識別形狀、顏色，或依賴學(xué)習(xí)來估算距離不同，雙目系統(tǒng)能夠直接量化物體到車輛的距離，這對于碰撞風(fēng)險(xiǎn)評估、精準(zhǔn)停車、障礙物避讓等任務(wù)至關(guān)重要。

基本原理，用兩張圖還原三維信息

簡單理解車載雙目攝像頭，就是將兩個(gè)攝像頭并排安裝，朝向前方，它們之間有一個(gè)固定的橫向距離，稱為“基線（baseline）”。同一個(gè)物體在左圖和右圖中的成像位置通常會有差異，這個(gè)水平方向的位置差異稱為“視差（disparity）”。對左右圖像進(jìn)行幾何校正后，可以把匹配點(diǎn)限制在同一水平線上進(jìn)行搜索，視差就是像素在水平方向上的偏移量。

圖片源自：網(wǎng)絡(luò)

根據(jù)成像模型，物體的真實(shí)距離Z與相機(jī)焦距f、基線B和視差d之間滿足一個(gè)簡單的關(guān)系：Z = f × B / d。也就是說，視差越大，物體越近；視差越小，物體越遠(yuǎn)。想要讓車載雙目攝像頭符合這一公式，必須讓攝像頭經(jīng)過內(nèi)參（如焦距、畸變系數(shù)）和外參（兩個(gè)攝像頭之間的位置關(guān)系）的精確標(biāo)定，標(biāo)定的精度將直接決定深度估計(jì)的準(zhǔn)確性。

車載雙目攝像頭拍攝只是兩張圖片，并不包含深度信息，如果想通過這兩張圖片信息計(jì)算出深度，需要經(jīng)過一系列的操作。首先是要將攝像頭進(jìn)行標(biāo)定，獲取內(nèi)外參數(shù)，并進(jìn)行圖像畸變校正與極線校正，使左右圖像的對應(yīng)點(diǎn)基本位于同一水平線上，從而降低匹配的復(fù)雜度。接著就是要進(jìn)行立體匹配，即為左圖中的每一個(gè)像素，在右圖中找到最可能的對應(yīng)像素，這是整個(gè)流程中最關(guān)鍵的一步。傳統(tǒng)的方法有基于塊匹配、基于代價(jià)聚合的半全局匹配等；但近年來，隨著深度學(xué)習(xí)方法逐漸流行，通過端到端的代價(jià)構(gòu)建、聚合與回歸，能夠進(jìn)行更準(zhǔn)確、更魯棒的視差估計(jì)。最后要做的就是將視差轉(zhuǎn)換為真實(shí)深度，并配合置信度估計(jì)與后處理（如孔洞填充、平滑濾波），輸出能有效提升下游任務(wù)效果的深度圖。。

算法與實(shí)現(xiàn)，從傳統(tǒng)方法到深度學(xué)習(xí)

早期的立體視覺算法更關(guān)注如何準(zhǔn)確定義像素之間的匹配代價(jià)，以及如何將局部匹配結(jié)果優(yōu)化成一張全局一致的視差圖。在進(jìn)行像素級匹配時(shí)，常用的代價(jià)函數(shù)有顏色差異、SAD（絕對差和）、SSD（平方差和），以及對于光照變化更具魯棒性的Census變換等方法。得到初步的匹配代價(jià)后，還需經(jīng)過代價(jià)聚合與優(yōu)化步驟，以抑制噪聲和錯誤匹配。其中，半全局匹配（SGM）通過沿多個(gè)路徑聚合代價(jià)，在效率和精度之間取得了出色平衡，因此成為車載系統(tǒng)中廣泛采用的經(jīng)典算法。

近年來，隨著計(jì)算能力的顯著提升，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的立體匹配方法迅速發(fā)展。這類方法利用神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)更魯棒、更高級的匹配特征，通過構(gòu)建三維代價(jià)體進(jìn)行精細(xì)的匹配比較，最終通過回歸或軟分類方法直接輸出視差圖。深度學(xué)習(xí)方法在弱紋理、重復(fù)紋理和劇烈光照變化等傳統(tǒng)算法難以處理的場景下，能表現(xiàn)出更強(qiáng)的穩(wěn)健性。然而，其性能也高度依賴訓(xùn)練數(shù)據(jù)的多樣性和完備性，以及對邊緣場景的泛化能力。

在實(shí)際的項(xiàng)目中，立體視覺會被整合到更大的感知鏈路中。單幀視差圖容易受噪聲影響，因此會使用時(shí)序?yàn)V波或多視圖融合技術(shù)，結(jié)合來自IMU或里程計(jì)的位姿信息，將相鄰幀的深度信息對齊融合，從而提高遠(yuǎn)處目標(biāo)和弱紋理區(qū)域的可靠性。此外，雙目系統(tǒng)還會與語義分割或目標(biāo)檢測模塊聯(lián)動，一旦檢測到行人或車輛，可以在這些區(qū)域內(nèi)進(jìn)行更精細(xì)的匹配與置信度評估，從而實(shí)現(xiàn)語義信息與幾何信息的相互校驗(yàn)，減少誤檢與漏檢的情況發(fā)生。

為什么車廠和Tier-1青睞雙目攝像頭

雙目攝像頭相比其他傳感器具備幾項(xiàng)明顯優(yōu)勢，使其在自動駕駛系統(tǒng)中始終占有一席之地。它采用被動成像，不像激光雷達(dá)或毫米波雷達(dá)那樣主動發(fā)射能量，沒有電磁輻射問題，在法律合規(guī)、隱私保護(hù)、能耗和成本方面更容易被大眾接受。

它的語義信息也更加豐富，攝像頭直接輸出高分辨率的彩色圖像，對識別車道線、交通標(biāo)志、信號燈、路面紋理和行人外觀等具有天然優(yōu)勢，這些信息對語義理解和行為預(yù)測至關(guān)重要

圖片源自：網(wǎng)絡(luò)

雙目系統(tǒng)還具備高橫向分辨率，能夠清晰捕捉像是車道線、路緣、人行道邊界等細(xì)微結(jié)構(gòu)，這是很多測距型傳感器難以替代的。

雙目攝像頭相比高精度的固態(tài)或機(jī)械式激光雷達(dá)更是低廉得多，更適合大規(guī)模量產(chǎn)車型的傳感器配置。此外，它體積小、功耗低，特別適用于短距離感知、泊車輔助、低速城市路況，或作為其他昂貴傳感器的有效補(bǔ)充。

雙目系統(tǒng)生成的密集深度圖（而非稀疏點(diǎn)云）也更適合某些算法需求，雙目系統(tǒng)作為視覺子系統(tǒng)的一部分，更能與單目視覺、雷達(dá)、激光雷達(dá)等形成互補(bǔ)，提升整體感知的魯棒性。

車載雙目攝像頭有哪些問題

即便車載雙目攝像頭的優(yōu)勢非常明顯，但其也有很多攝像頭存在的固有的問題。它對環(huán)境條件非常敏感，像是在弱光、夜間、逆光、雨雪霧等天氣下，會顯著降低匹配質(zhì)量，導(dǎo)致視差圖噪聲增加或出現(xiàn)大范圍低置信度區(qū)域。與激光雷達(dá)不同，攝像頭也無法穿透雨霧，因此在極端天氣下僅靠雙目難以保證安全。

在面對缺乏紋理或重復(fù)紋理的區(qū)域（如白墻、單色車身），立體匹配容易出錯甚至無法找到對應(yīng)點(diǎn)。對于反光或半透明物體（如積水、玻璃窗），攝像頭更可能產(chǎn)生虛假幾何信息，導(dǎo)致深度估計(jì)錯誤。

雙目的有效距離也受攝像頭分辨率和基線設(shè)計(jì)的限制。對于遠(yuǎn)處的小目標(biāo)（如高速路上數(shù)十米外的小障礙物），視差可能小于一個(gè)像素，這會導(dǎo)致誤差被放大。

由于雙目攝像頭左右視角不同，某些區(qū)域在一側(cè)攝像頭中可見，在另一側(cè)卻不可見，這會導(dǎo)致視差缺失或匹配錯誤。雙目系統(tǒng)對標(biāo)定精度依賴也極高，任何微小的幾何偏移都可能導(dǎo)致系統(tǒng)性誤差，對長期使用的穩(wěn)定性提出挑戰(zhàn)。

車載雙目攝像頭裝車要點(diǎn)

將雙目攝像頭部署到車輛上，并不只是將攝像頭固定在車頭那么簡單。安裝時(shí)的基線長度、攝像頭分辨率、鏡頭視角、曝光策略和同步機(jī)制都需要精心計(jì)算。基線越長，對遠(yuǎn)處物體的深度分辨率越好，但也會導(dǎo)致結(jié)構(gòu)尺寸增大，并可能在近距離出現(xiàn)視差飽和問題。在城市低速場景中，短基線雙目已足夠使用，且更易于安裝；若要用于高速公路等需要檢測遠(yuǎn)距離目標(biāo)的場景，則需要更長的基線、更高分辨率的傳感器或更長焦距的鏡頭。

圖片源自：網(wǎng)絡(luò)

攝像頭的時(shí)間同步也非常關(guān)鍵，左右圖像必須在極短時(shí)間內(nèi)完成采集，否則車輛或周圍物體的運(yùn)動會導(dǎo)致視差計(jì)算錯誤。車規(guī)級的雙目模塊通常會在硬件層面實(shí)現(xiàn)觸發(fā)同步，并在模塊內(nèi)部完成初步標(biāo)定與校正，以降低系統(tǒng)集成的復(fù)雜度。

標(biāo)定與標(biāo)定維護(hù)是最容易被低估的環(huán)節(jié)。攝像頭標(biāo)定需要精確估計(jì)內(nèi)參（焦距、主點(diǎn)、畸變）和外參（兩個(gè)攝像頭之間的旋轉(zhuǎn)與平移）。車輛經(jīng)過顛簸或輕微碰撞后，攝像頭支架可能發(fā)生微小偏移，導(dǎo)致深度估計(jì)出現(xiàn)偏差。因此，要設(shè)計(jì)定期自標(biāo)定或在線標(biāo)定的策略，利用車道線、路面平面或其他結(jié)構(gòu)化特征自動校正外參。

此外，曝光與HDR策略也不容忽視，攝像頭需要在逆光、強(qiáng)光對比等復(fù)雜光照條件下保證圖像可用。很多系統(tǒng)會采用多曝光或自動增益控制來擴(kuò)展動態(tài)范圍，并在圖像處理階段進(jìn)行光照歸一化，以提高匹配的魯棒性。

高精度深度估計(jì)，尤其是基于深度學(xué)習(xí)的方法，需要較大的計(jì)算量，在成本受限的量產(chǎn)車上必須進(jìn)行權(quán)衡。在常規(guī)駕駛場景下，可使用輕量級或優(yōu)化后的傳統(tǒng)算法輸出初步深度結(jié)果；當(dāng)系統(tǒng)檢測到復(fù)雜或關(guān)鍵場景（如行人密集、道路狹窄）時(shí)，再觸發(fā)更精細(xì)的深度網(wǎng)絡(luò)進(jìn)行處理。還可以將計(jì)算密集型任務(wù)分配給車載高性能計(jì)算單元，并采用稀疏化或分層處理技術(shù)來節(jié)省資源。

最后的話

雙目攝像頭就像是自動駕駛感知工具箱中的一把得力工具，但正如螺絲刀不能替代錘子，它也無法解決所有感知問題，但在其優(yōu)勢場景下，它卻能以出色的性價(jià)比完成感知任務(wù)。真正可靠的自動駕駛系統(tǒng)，是要通過一群各具所長、又各有短板的技術(shù)工具的默契配合，在取長補(bǔ)短中構(gòu)建起來的。