Bayer 格式的圖像傳感器在每個像素位置上只采樣紅綠藍三原色中的一種。在某些應用中，Bayer 顏色濾光片陣列（colour filter array）的一個 G（綠色）濾光片會被其他濾光片代替，如 W（白色） 濾光片或 IR（紅外） 濾光片等。而絕大多數發表的去馬賽克算法都是基于經典的Bayer 格式。文中提出了一種通用的去馬賽克算法，不僅可以適用于所有以 2x2 為最小采樣周期的圖像傳感器而且該方法在顏色峰值信噪比（CPSNR）方面也達到了很高的指標。

1 引言

Bayer 格式的圖像傳感器在每個像素位置上只采樣紅綠藍三原色中的一種[1-5]。為了提升去馬賽克后輸出圖像的分辨率， Bayer 格式圖像傳感器在其 2×2 的最小采樣周期的對角線位置上采樣綠色。某些應用要求成像設備能夠同時提供被攝場景的 RGB 圖像和紅外圖像[6]，從降低成本的角度考慮，這就需要圖像傳感器在采樣紅綠藍三原色的同時也采集紅外光。在現有 Bayer 格式傳感器基礎上最簡單的一種改進方法是將現有 2×2 最小采樣周期對角線上的一個綠色濾鏡換成紅外濾鏡。業內稱這種圖像傳感器為RGBIR 格式。

S.Süsstrunk 和 C.Fredembach 也在文[7]中提出了 RGBIR 傳感器的許多其他應用，包括去霧和皮膚平滑。而另外一些應用要求圖像傳感器在采集彩色圖像的同時可以提供更好的低光性能，會將現有 Bayer 格式的一個綠色濾鏡直接拿掉，這樣該通道就可以采集各種波長的光線。業內稱這種圖像傳感器為 RGBW 格式[8]。后續為了說明的方便，統一稱這種改進型圖像傳感器為 RGBX 傳感器。

為了滿足上述應用，文獻[9,10]中討論了彩色濾鏡的其他排列組合方法。然而，考慮到傳感器的制造成本，本文只關注以 2×2 為最小采樣周期的非 bayer CFA 模式。如圖 1 所示，這是一種改進型的圖像傳感器。

圖 2 是這種改進型圖像傳感器對應的一個典型的量化響應曲線，橫坐標是入射光波長，縱坐標是不同波長對應的量化效率

由于 X 通道和綠色通道對入射光的量化響應曲線形狀存在極大差異，導致了對角線位置上綠色和紅外的采樣值一般也差異較大。而傳統針對 Bayer 格式的去馬賽克方法的處理流程一般是首先利用 Bayer采樣對角線上的兩個綠色通道的相關性，內插出全分辨率的綠色通道，然后再基于局部色差一致性的假設，內插出全分辨率的紅色和藍色通道。不難看出，將一個綠色通道替換成了 X 通道之后，四個通道的采樣率一致，所以這種先內插高采樣率的綠色通道的去馬賽克方法顯然不再適用于改進型的圖像傳感器。

雖然，將雙線性（bilinearity）、雙三次（bicubic）等普通的內插方法分別作用于 RGBX 傳感器的四個通道可以完成 RGBX 的去馬賽克操作，輸出四個全分辨率的圖像。但是這類將每個通道獨立內插的做法完全沒有利用通道間的信息，去馬賽克后輸出圖像的效果會存在分辨率低、亮色混疊嚴重等問題。就我們學術查新的結果來看，目前學術界還沒有公布高性能的完全兼容 Bayer 格式的 RGBX 去馬賽克算法。

2 本文提出的算法

由于我們假設 RGBX 圖像傳感器中所有通道都具有相同的采樣頻率（Bayer 格式可以認為是一種RGBX 圖像傳感器的特殊格式），因此本文提出的算法不需要遵循先內插 G 通道傳統去馬賽克算法流程框架。具體算法流程如下所述。

我們將原始的 RAW 圖像看成是四個全幅面的RGBX 圖像經過采樣函數相加后的輸出結果。表示為式（1）。

（1）

其中 f 代表全幅面圖像，如 fCFA 代表全幅面的 RAW 圖像， fR 代表全幅面的 R 圖像，以此類推。

n1 = [1,2,...H]，n2 = [1,2,...W] 分別代表圖像垂直和水平方向像素位置，H 為全幅面圖像高度，W 為全幅面圖像寬度。

定義亮度分量L，色度分量C1，C2，C3 和 RGBX 的轉換關系用矩陣表示如式（2）。

（2）

因此全幅面的 RAW 圖像（CFA）也可以看成是四個全幅面的亮度和色度分量經過采樣函數相加后的輸出結果如式（3）。

（3）

其中 ，-1 = ejπ 則色度分量 C1 可以看成是調制到中心頻率為（0.5，0）上的高頻信號，色度分量C2 可以看成是調制到中心頻率為（0，0.5）上的高頻信號，色度分量 C3 可以看成是調制到中心頻率為（0.5，0.5）上的高頻信號，而亮度分量可以看成一個基頻信號。

圖 3 是將頻率零點位移到中心點之后的亮度和色度分量在頻域上的能量分布示意圖。橫坐標代表水平方向上的頻率，縱坐標代表垂直方向上的頻率。由圖 3 可見，亮度信號 L 主要分布在二維坐標系的低頻區域。色度信號 C1 到 C3 分布在二維坐標系的高頻區域，其中 C3 分布在上圖的四角，代表色度在對角線方向上的高頻信號。C1 分布在上圖的水平兩側，代表色度在水平方向上的高頻信號。C2 分布在上圖的垂直兩側，代表色度在垂直方向上的高頻信號。去馬賽克的思想可以是通過低通濾波器恢復出亮度信號，高通濾波器恢復出色度信號，然后通過矩陣變換轉換到 RGBX 上。

在開始去馬賽克運算之前，需要先對第四通道進行預校正運算。第四通道指的是四個通道中 RGB 通道外的通道，如果是 RGBIR 圖像傳感器，第四通道則為紅外通道，如果是 RGBW 圖像傳感器，W 代表無色的濾鏡，即這個通路響應從可見光到紅外光的全部波長光線，第四通道則為 W 通道。

這里仍以 RGBIR 圖像傳感器為例，具體地說，在進行上述亮度和色度的卷積運算之前，最好對紅外通道進行預校正運算，這是由于紅外通道的量化相應曲線和 RGB 通道的量化相應曲線存在較大差異，在某些場景可能導致即使在相鄰區域紅外和可見光通道的信號也存在較大差距。而濾波器設計時受到階數的限制，會有波紋現象。

經過卷積運算之后，RAW 圖像上相鄰區域輸入信號的差異可能會被放大，那么在平坦區域上去馬賽克輸出可能會出現“網格”現象。紅外通道預校正的目的是為了弱化當前像素鄰近區域尤其是平坦區域上紅外通道和可見光（RGB）通道的差異。

紅外通道（第四通道）的預校正運算由校正因子和紅外分量相乘完成。校正因子包括全局校正因子和局部校正因子。全局校正因子由輸入的 RAW 圖像中 RGB 通道的平均值和紅外通道平均值相除獲得。局部校正因子由當前紅外通道鄰域內的 RGB 通道的平均值和紅外通道平均值相除獲得。全局校正因子和局部校正因子通過加權系數融合得到。加權系數由當前紅外通道鄰近的 RGB 通道的梯度值通過查表計算得到。梯度值越大，局部校正因子的加權系數越小，反之則越大。

經過預校正處理之后可以開始內插運算。亮度分量去馬賽克運算可以通過一個亮度濾波器和輸入的全幅面的 RAW 數據進行卷積運算從 RAW 數據中恢復出亮度信號。這里亮度濾波器的參數可以預先設定，也可以根據 RAW 圖像中當前像素的局部特征動態調整。

根據 RAW 圖像中當前像素的局部特征動態調整亮度濾波器參數，具體是指先通過計算以當前像素為中心的 n×n（為獲得較好的處理效果，n 最好大于或等于 3）鄰域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作為檢索值查找預定義查找表得到對應的濾波器參數。或者通過計算不同方向之間梯度差或比值并與預定義閾值比較，從而判斷當前像素處于平坦區域還是邊界區域或者是細節區域。

若當前像素處于平坦區域，則選用對低頻區域響應較好的亮度濾波器參數。若當前像素處于邊界區域，則需要判斷當前像素所在邊界方向，并選用在此方向上響應較好的亮度濾波器參數。若當前像素處于細節區域時，則需要判斷當前像素所在頻段，并選用在此頻段上響應較好的亮度濾波器參數。

對于平坦區域的判定，是指計算各方向間的梯度差或比值并與預定義閾值比較，當結果小于預定義閾值且各方向的梯度絕對值也小于預定義閾值時，認為是平坦區域。

對于邊界區域的判定，是指計算各方向間的梯度差或比值并與預定義閾值比較，當結果大于預定義閾值且被減或被除梯度所示方向的梯度絕對值也大于預定義閾值時，認為是邊界區域。一般可以認為，若當前像素既不在平坦區域，也不在邊界區域，則該像素處于細節區域。當判斷當前像素處于細節區域時，需要判斷當前像素所在頻段。當前像素所在頻段由以下方法近似得到：預定義幾組通過頻率不同的帶通濾波器和當前像素所在鄰域做卷積運算后取最大值，其對應的帶通濾波器通過頻率即為當前像素所在頻段。

色度分量去馬賽克的運算可以通過三個高通濾波器分別和輸入的全幅面的 RAW 數據進行卷積運算，從 RAW 數據中分別恢復出色度信號。這里高通濾波器的參數可以預先設定，也可以利用上述梯度值（即以當前像素為中心的n×n鄰域在各方向上的梯度）或其他等效信息作為檢索值查找預定義查找表得到對應的濾波器參數。或者根據RAW圖像中當前像素的局部特征以及前述亮度濾波器參數動態調整。

上述根據 RAW 圖像中當前像素的局部特征以及上述亮度濾波器參數動態調整色度濾波器參數，其思想是降低亮度和色度在高頻部分的混疊（假色）現象。具體是指當前像素對應的亮度濾波器的通帶接近默認色度濾波器的通帶時，抑制色度濾波器的幅值。反之，則保留色度濾波器的幅值。

具體地，若亮度濾波器在水平方向上的通過頻率較高時，則抑制當前像素對應的色度 C1 濾波器的幅值；若亮度濾波器在垂直方向上的通過頻率較高時，則抑制當前像素對應的色度 C2 濾波器的幅值；若亮度濾波器在對角線方向上的通過頻率較高時，則抑制當前像素對應的色度 C3 濾波器的幅值。抑制色度濾波器的幅值是指通過動態計算調整因子 ，點乘至色度濾波器參數上完成。

上述色度濾波器的參數調整也可以通過調整色度濾波器的截止頻率來實現。具體是指當前像素對應的亮度濾波器的通帶接近默認色度濾波器的通帶時，提升色度濾波器的截止頻率。具體地，若亮度濾波器在水平方向上的通過頻率較高時，則提升當前像素對應的色度 C1 濾波器的截止頻率。若亮度濾波器在垂直方向上的通過頻率較高時，則提升當前像素對應的色度 C2 濾波器的截止頻率。若亮度濾波器在對角線方向上的通過頻率較高時，則提升當前像素對應的色度C3濾波器的截止頻率。

需要說明的是，上述亮度分量的去馬賽克輸出也可以在 3 個色度分量都完成去馬賽克運算之后由原始 RAW 數據和全幅面的色度分量之和相減獲得。類似地，某一個色度分量的去馬賽克輸出也可以在亮度和其他 2 個色度分量完成去馬賽克運算之后由原始 RAW 數據和上述全幅面的亮度和 2 個色度分量之和相減獲得。

最后，利用式（4）中定義的亮度色度和 RGBX 的轉換矩陣計算得出內插后的 RGBX 四個通道像素值。

（4）

3 測試結果

由于目前學術界和工業界都還沒有標準的RGBX 測試集，因此在客觀測試中本文采用了測試Bayer 格式去馬賽克性能最常用的測試集 Kodak 的24 張 RGB 圖像。

鑒于本文算法可以完全兼容 Bayer 格式，在我們的實驗中，直接用 Bayer CFA 模式對圖像進行采樣，得到 raw 圖像然后對下采樣后的圖像進行去馬賽克插值，以評價插值結果。

我們將顏色峰值信噪比 CPSNR 作為客觀評測性能指標。表 1 記錄了 CPSNR 比較結果。從表中可以看出，本文提出的去馬賽克算法以平均將近 0.8 dB 優于文獻[11]中的算法，高于文獻[12]中的 EIG 內插算法超過 1 dB，高于文獻[13-15]中的線性插值法超過 4 dB。

4 結語

本文的主要貢獻是建立了一個通用的去馬賽克算法架，該算法適用于所有以 2×2 為最小采樣周期的 Bayer 以及非 Bayer 模式圖像傳感器。實驗結果表明，該方法對比其他算法具有較好的 CPSNR。經過少量修改后該方法也可用于其他以 4×4 為最小采樣周期的 raw 信號。