紅外線熱成像中的影像融合

      視覺相機和紅外線熱成像在計算機視覺應用中既有優點也有缺點。由于不同技術都擁有局限性，并且通常不會同時發生，因此融合這些不同類型的圖像可能會有所幫助。在紅外熱圖像中，很難將部分被遮擋的相同溫度的人或物體分開，因為它們具有相同的像素強度。在這種情況下，包括深度信息或顏色邊緣才可以幫助消除歧義。
      紅外線熱成像儀最常見的組合是熱成像和視覺成像。這是由于視覺相機的低價格和眾所周知的特性，以及隨之而來的隨溫度增加顏色的優點。主要的挑戰是如何對齊和融合不同的圖像模式。不同光譜中的亮度水平之間不一定存在任何關系，因此許多相互信息對齊的方法并不適用。通常，手動選擇對應點以計算平面單應性，然后使圖像之一變形。目前有依賴邊緣方向之間相關性的自動對齊技術，和一種根據自動檢測的關鍵點計算單應性的方法。
      用于幾何校準，鏡頭畸變校正和紅外線熱成像對準的標準棋盤方法依賴于色差，并且未經任何更改就不能用于紅外熱像儀。當用泛光燈加熱電路板時，顏色發射率的差異將導致紅外熱圖像的強度差異。然而，通過構造兩種不同材料的棋盤可以獲得更清晰的電路板圖案，其熱發射率和溫度差異很大。這種方法也適用于在不同基材之前使用帶有銑削方格圖案的銅板，以及在塑料板之前使用金屬線的方法。當這些特殊的棋盤被熱風槍，吹風機或類似設備加熱時，由于材料的發射率不同，在紅外熱圖像中將看到清晰的棋盤圖案。同時，由于色差，它在視覺圖像中也是可見的。

圖為紅外線熱顯像

      融合可以在不同級別上進行，通常描述為像素級別，特征級別或決策級別。在像素級融合中，需要對圖像進行空間配準，以便所有圖像的相同像素位置對應于現實世界中的相同位置。然后使用融合算法逐個像素地合并圖像。使用特征級融合，可以在所有圖像中單獨找到特征，然后融合到聯合特征集中。決策級融合遵循單個處理，直到完成對觀察到的場景的評估為止。融合級別的選擇將取決于應用。融合可見視頻和紅外線熱成像視頻的方法，是將兩個圖像對齊并使用帶有熱量信息的疊加圖像進行組合。一種稱為通用融合模型（像素級別），另一種稱為組合模塊（特征級別）。組合模塊經過六個序列測試，具有最佳性能，提出了Curvelet和小波變換的組合，以及用于融合視覺和紅外熱圖像的離散小波包變換方法。使用自適應加權方法，在融合之前能增強每種模態中的非自然物體。另一種方法是將顏色和熱信息同時保留為新的“紅綠藍熱”視頻格式
      紅外線熱成像儀的空間分辨率仍然很低，而可獲得最佳分辨率的價格卻很高。與視覺攝像機結合使用時，使用具有低空間分辨率的熱傳感器仍可以改善監視效果。通過融合視覺和熱學視頻，可以構建紅外熱圖像的超分辨率。提出原型使用三個攝像機來組合可見光，NIR和LWIR波段。視覺系統以外的其他傳感器也可以與融合系統中的紅外線熱成像儀結合使用。可以融合紅外線熱成像儀和激光掃描儀的數據，以獲得可靠的行人檢測并進行跟蹤。也可以融合近紅外傳感器和低分辨率，遠紅外傳感器，以獲得低成本的夜視系統。
      融合圖像系統在各個領域都有應用。在監視系統中，由于需要一種可以在室內和室外在白天和黑夜均可工作的強大系統的必要性，使用融合圖像模式是很普遍的。在汽車的監視和夜視系統中，都可以通過融合圖像模式來改進對腳步的檢測。尤其是監視系統，可以檢測到的人類的注意力領域，并且融合了視覺圖像和紅外熱圖像，以在遠程沉浸式空間中進行可靠的前景檢測。