被動感知的物理天花板

　　純視覺感知系統(tǒng)本質(zhì)上是一個基于環(huán)境光反射的被動測量系統(tǒng)。這一特性的核心在于，攝像頭本身并不向外發(fā)射能量，它所獲取的所有信息都來源于外界光源，都是太陽、路燈或其他車輛的燈光照射到物體表面后反射回來的光子。

　　這種工作模式與人類的眼睛如出一轍，當(dāng)環(huán)境光線充足且分布均勻時，攝像頭能夠捕捉到極為豐富的顏色、紋理和語義信息，這些信息對于識別交通標(biāo)志、判斷路面標(biāo)線以及理解復(fù)雜的交通意圖具有不可替代的優(yōu)勢。但一旦光源缺失或光環(huán)境變得極端，被動感知的弊端便暴露無遺。

　　相比之下，激光雷達(dá)等有源傳感器則是“自帶手電筒的視覺”。激光雷達(dá)通過主動向外發(fā)射受控的激光脈沖，并接收從目標(biāo)反射回來的能量，利用飛行時間原理直接計算物體的空間坐標(biāo)。這種主動探測機制使得激光雷達(dá)在全黑的夜晚依然能維持極高的感知精度，且?guī)缀醪皇墉h(huán)境光干擾。

　　在低光照環(huán)境下，攝像頭傳感器面臨的首要挑戰(zhàn)是信噪比(SNR)的急劇下降。當(dāng)光子稀少時，傳感器捕捉到的有效信號可能被電路產(chǎn)生的熱噪聲所淹沒。為了在黑暗中“看清”物體，系統(tǒng)必須延長曝光時間或增加感光度(ISO)。

　　延長曝光時間在動態(tài)駕駛場景中是極其危險的，因為車輛與目標(biāo)的相對運動會導(dǎo)致圖像出現(xiàn)嚴(yán)重的運動模糊，使得原本清晰的目標(biāo)輪廓變得如同虛影。

　　而盲目提高感光度則會引入大量隨機噪聲，使畫面充滿雜質(zhì)，嚴(yán)重干擾后端神經(jīng)網(wǎng)絡(luò)對物體特征的提取。這種在物理層面就已受損的“原始材料”，注定了純視覺方案在暗光下的步履維艱。

　　環(huán)境介質(zhì)對光波的攔截與扭曲

　　自動駕駛車輛并不是在真空中行駛，光線從物體表面反射回攝像頭的過程中，必須穿過復(fù)雜的大氣環(huán)境。雨、雪、霧等惡劣天氣本質(zhì)上是改變了光波的傳播路徑，通過散射、折射和吸收等物理現(xiàn)象，對視覺感知構(gòu)成了多重封鎖。

　　霧氣對視覺的影響主要源于米氏散射(Mie Scattering)。霧滴的直徑通常與可見光的波長相當(dāng)，當(dāng)光波遇到這些微小水滴時，會向四面八方發(fā)生強烈的散射。

　　這種散射效應(yīng)會產(chǎn)生兩個嚴(yán)重后果，一是光線在傳播過程中的強度迅速衰減，導(dǎo)致遠(yuǎn)距離物體在圖像中消失;二是背景光和環(huán)境光被散射成了白茫茫的“幕簾”，大大降低了目標(biāo)的對比度。

　　從信號處理的角度看，霧氣相當(dāng)于在圖像上疊加了一個大尺寸的低通濾波器，濾除了大部分的高頻細(xì)節(jié)。神經(jīng)網(wǎng)絡(luò)在處理這類圖像時，很難識別出被霧氣遮蔽的行人邊緣或車道線，這會導(dǎo)致識別置信度大幅下降，甚至完全漏檢。

　　雨天場景則會帶來另一個問題。下落的雨滴具有極高的透明度和特殊的幾何形狀，每一顆雨滴都像是一個微小的球形透鏡，會對穿過的光線產(chǎn)生折射和全反射。這會導(dǎo)致攝像頭捕捉到的畫面出現(xiàn)局部的扭曲和偽影。

　　更嚴(yán)重的問題發(fā)生在攝像頭表面的保護(hù)玻璃上，粘附的雨滴會造成大面積的畫面模糊。由于這些雨滴處于攝像頭的近焦位置，它們會形成嚴(yán)重的散焦，使畫面中的關(guān)鍵區(qū)域變得不可見。

　　在雪天環(huán)境下，視覺系統(tǒng)還會面臨對比度缺失與物理覆蓋的雙重考驗。雪花具有極高的光反射率，在強光照射下會導(dǎo)致圖像大面積過曝;而在陰天，白色的雪地與同樣色系的白色車輛、路標(biāo)之間缺乏足夠的對比度，導(dǎo)致感知算法難以區(qū)分目標(biāo)與背景。此外，粘滯的積雪可能會直接覆蓋在攝像頭鏡頭上，這種物理層面的“致盲”是任何軟件算法都無法挽回的。

　　這些物理層面的干擾直接挑戰(zhàn)了純視覺系統(tǒng)對空間幾何結(jié)構(gòu)的建模能力。由于攝像頭無法像激光雷達(dá)那樣通過精確的脈沖返回時間來剝離環(huán)境噪聲，它必須在雜亂無章的像素點中通過概率預(yù)測來猜測物體的存在。在這種情況下，物理規(guī)律對光線的攔截，實際上切斷了視覺系統(tǒng)賴以生存的信息源。

　　圖像信號處理器，被忽視的信息損耗環(huán)節(jié)

　　即便光線成功穿透大氣并被攝像頭傳感器捕捉，從感光單元輸出的原始電信號(RAW數(shù)據(jù))到最終進(jìn)入自動駕駛大腦的彩色圖像(RGB圖像)，中間還隔著一個復(fù)雜的環(huán)節(jié)，那就是圖像信號處理器(ISP)。

　　長期以來，車載ISP的調(diào)優(yōu)目標(biāo)都是為了服務(wù)于“人眼觀看”，即追求色彩鮮艷、對比度高、噪點少的視覺效果。但這種追求“美感”的處理流程，對于機器視覺算法來說，其實是一場災(zāi)難。

　　ISP的處理流程包含去馬賽克、白平衡校正、去噪、伽馬校正和色調(diào)映射等多個階段。在低光照或高動態(tài)(HDR)場景下，ISP的副作用尤為明顯。為了抑制暗光下的噪點，ISP會采用強力的空間域或頻率域去噪算法。這些算法在抹除隨機噪聲的同時，也會無差別地抹掉微小的紋理細(xì)節(jié)，導(dǎo)致圖像呈現(xiàn)出一種“油畫感”。

　　對于人類駕駛員來說，這種平滑處理可能提升視覺舒適度，但對于依賴像素級特征梯度進(jìn)行物體檢測的深度學(xué)習(xí)模型來說，這意味著丟失了判斷物體邊緣的關(guān)鍵高頻信息。

　　還有一個問題在于動態(tài)范圍的處理。自然界的亮度跨度可能超過140dB，而主流車載攝像頭傳感器的動態(tài)范圍一般在120dB左右。當(dāng)車輛駛出黑暗隧道突然面對刺眼的陽光時，ISP必須在極短的時間內(nèi)調(diào)整曝光參數(shù)。

　　傳統(tǒng)的HDR技術(shù)通過多幀曝光合成來實現(xiàn)高動態(tài)顯示，但這在高速行駛中會引入嚴(yán)重的運動偽影。由于不同曝光幀之間存在時間差，快速移動的物體在合成后的畫面中會出現(xiàn)重影或虛影，導(dǎo)致自動駕駛算法無法準(zhǔn)確判斷物體的邊界位置。

　　此外，ISP執(zhí)行的色調(diào)映射(Tone Mapping)和伽馬校正(Gamma Correction)本質(zhì)上是一種非線性的信息壓縮過程。為了將傳感器捕獲的20位或24位高動態(tài)RAW數(shù)據(jù)映射到8位或10位的RGB空間，ISP會強行壓縮陰影和高光區(qū)域的對比度。

　　在這個過程中，原本在RAW域中清晰可辨的微小亮度差異被強行歸并為同一個像素值。這種數(shù)學(xué)上的不可逆損耗，會讓感知網(wǎng)絡(luò)失去在極端光影場景下進(jìn)行“微秒級察覺”的可能性。

　　這種“人眼導(dǎo)向”與“機器導(dǎo)向”的錯位，是純視覺方案在極端場景下表現(xiàn)不佳的重要誘因。目前有技術(shù)方案正嘗試跳過傳統(tǒng)的ISP，直接利用RAW域數(shù)據(jù)進(jìn)行端到端的物體檢測訓(xùn)練，以保留光電傳感器的所有原始信息，這從側(cè)面證明了傳統(tǒng)處理流程在光影難題中的局限性。

　　深度學(xué)習(xí)在極端場景下的認(rèn)知邊界

　　純視覺自動駕駛離不開深度學(xué)習(xí)算法，然而，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)或Transformer的物體檢測模型，其性能高度依賴于訓(xùn)練數(shù)據(jù)的分布。在面對光照顯著惡化的場景時，算法層面的“認(rèn)知”也會出現(xiàn)嚴(yán)重的偏差。

　　神經(jīng)網(wǎng)絡(luò)提取物體特征的基礎(chǔ)在于像素間的對比度梯度。在強逆光或夜間遠(yuǎn)光燈直射的情況下，光線會產(chǎn)生嚴(yán)重的“眩光”和“溢出”(Blooming)效應(yīng)。當(dāng)一個極亮的點光源(如對向車的遠(yuǎn)光燈)照射到傳感器上時，產(chǎn)生的電荷會溢出到相鄰的像素中，導(dǎo)致圖像中出現(xiàn)大面積的亮斑。

　　這種現(xiàn)象不僅遮蓋了障礙物本身的紋理，還徹底破壞了物體的幾何輪廓。當(dāng)特征圖中的高頻分量由于過曝或極低亮度而消失時，卷積核將無法捕捉到有效的激活信號，導(dǎo)致系統(tǒng)在邏輯上“無視”了障礙物的存在。

　　此外，單目純視覺系統(tǒng)獲取深度的唯一途徑是依靠算法猜測。模型通過識別物體的類型，結(jié)合“近大遠(yuǎn)小”的經(jīng)驗值或路面紋理的變化來推算距離。但在光照極差的夜晚，路面紋理幾乎不可見，物體的視覺特征由于噪聲干擾而失真。

　　此時，算法的深度推算將變得極不穩(wěn)定。即使系統(tǒng)識別出了前方有一個行人，也可能因為無法準(zhǔn)確判斷其距離而導(dǎo)致緊急制動的決策失靈。在高速場景下，幾米的距離偏差就足以決定一場事故的發(fā)生。

　　還有一個更深層次的問題，目前的純視覺模型本質(zhì)上是在進(jìn)行一種“模式匹配”。當(dāng)訓(xùn)練數(shù)據(jù)集中99%的場景都是晴天、光照良好的公路時，模型會形成一種先驗偏見。

　　當(dāng)它在夜間隧道口遇到由于劇烈光影交替而產(chǎn)生的怪異輪廓時，模型可能會將其錯誤地分類為不具威脅的陰影或路面雜質(zhì)。這種對長尾場景(Edge Cases)的泛化能力缺失，是純視覺方案通往L4及以上自動駕駛時必須跨越的鴻溝。