01

Background

傳統(tǒng)圖像信號處理芯片即ISP，會處理來自圖像傳感器端的RAW圖數(shù)據(jù)，以人眼感知質(zhì)量為目標(biāo)，設(shè)計出了多個圖像處理模塊，最終得到一張美觀自然的彩色圖像。標(biāo)準(zhǔn)的ISP一般都有缺陷校正、去噪、銳化、去馬賽克、自動白平衡等模塊。

首先是ISP處理的對象：RAW圖數(shù)據(jù)。RAW圖是CMOS或者CCD圖像傳感器將捕捉到的光源信號轉(zhuǎn)化為數(shù)字信號的原始數(shù)據(jù)。因?yàn)閳D像傳感器上每個進(jìn)行光電轉(zhuǎn)換的像素單元，本身是無法識別出光源中不同顏色成分的，因此需要在圖像傳感器上方覆蓋一層色彩濾波陣列，讓每一個像素只會得到R,G,B三基色中的一種彩色分量。因此RAW圖的像素值的色彩是缺失的，人眼觀看具有強(qiáng)烈的馬賽克效應(yīng)，需要經(jīng)過ISP轉(zhuǎn)換為標(biāo)準(zhǔn)的RGB圖像，這就是ISP中的核心模塊去馬賽克（Demosaic）的功能。RAW圖像數(shù)據(jù)一般是R、G、B三種像素值交錯排列，這組成了常見的標(biāo)準(zhǔn)bayer格式。其中綠色顏色像素會是紅色和藍(lán)色像素的兩倍，這是因?yàn)槿搜蹖G色更敏感，通過綠色像素能感知圖像結(jié)構(gòu)信息。

這里展示的是典型的相機(jī)系統(tǒng)結(jié)構(gòu)。鏡頭模組lens作為光學(xué)系統(tǒng)將光信號投射到sensor的感光區(qū)域后，sensor 經(jīng)過光電轉(zhuǎn)換，將Bayer 格式的RAW圖像送給ISP，ISP 經(jīng)過算法處理，輸出RGB 空間域的圖像給后端的視頻采集單元。在這個過程中，ISP 通過運(yùn)行在其上的firmware 對ISP邏輯，lens和sensor 進(jìn)行相應(yīng)控制，進(jìn)而完成自動對焦、自動曝光、自動白平衡等功能。其中，firmware 的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動。另外ISP還會有配套的圖像質(zhì)量調(diào)優(yōu)工具PQ tools，它通過網(wǎng)口或者串口完成對ISP 的配置參數(shù)調(diào)整。

02

ISP Pipeline

LSC負(fù)責(zé)對鏡頭陰影矯正，去除圖像陰影。鏡頭陰影（Lens Shading）主要分為2種：亮度陰影（LumaShading）和色彩陰影（Color Shading）。

亮度陰影就是我們常說的暗角/漸暈，表現(xiàn)為圖像中心區(qū)域較亮，四周偏暗。亮度陰影的成因主要有2種：

1. 鏡頭本身的機(jī)械結(jié)構(gòu)導(dǎo)致。鏡頭的各模塊在制作和組裝的過程中存在一定的工藝誤差，從而影響光線在鏡頭內(nèi)部的傳播。如圖所示，較大角度進(jìn)入鏡頭的一些光線被鏡頭遮擋，這些邊緣位置上的光線進(jìn)入sensor時的亮度大幅衰減。
2. 鏡頭的光學(xué)特性引起。對于整個鏡頭，可將其視為一個凸透鏡。而凸透鏡中心的聚光能力遠(yuǎn)大于其邊緣，從而導(dǎo)致圖像傳感器中心的光強(qiáng)度大于四周。此種現(xiàn)象也叫做邊緣光照度衰減。

色彩陰影表現(xiàn)為圖像中心區(qū)域與四周顏色不一致，即圖像的四周或中心區(qū)域出現(xiàn)偏色。色彩陰影的成因較為復(fù)雜，影響因素較多，這里做簡要介紹：

1. 鏡頭本身的光學(xué)特性（色散現(xiàn)象），如圖所示，鏡頭對不同波長光線的折射率不同，進(jìn)而使得它們聚焦位置不一樣，導(dǎo)致傳感器獲得的色彩信息存在偏差。
2. 此外鏡頭和圖像傳感器之間還會引入紅外截止濾波片（IR-Cut filter），傳感器每個像素之上還制造有加強(qiáng)聚光能力的微透鏡，它們的存在也會引入額外的色差問題。

在實(shí)際應(yīng)用中，ISP中鏡頭陰影矯正模塊會存儲一組標(biāo)準(zhǔn)光源下的校正系數(shù)，通過檢測色溫決定使用何種光源條件下的校正系數(shù)。對于非標(biāo)準(zhǔn)光源的情況，增益值由標(biāo)準(zhǔn)光源下的增益值插值得出。該步驟由上位機(jī)完成。

DPC壞點(diǎn)校正模塊用于校正圖像傳感器中對外界光照失效而呈現(xiàn)為極亮或極暗的像素點(diǎn)（壞點(diǎn)），這些壞點(diǎn)會因傳感器的制造瑕疵以及器件隨時間的磨損而出現(xiàn)。

BLC黑電平校正存在于各個ISP的處理模塊中，在真實(shí)情況下，當(dāng)場景信息不存在，可以理解為全黑時，傳感器不會輸出為0，這是因?yàn)閟ensor本身有暗電流導(dǎo)致在沒有光照進(jìn)來的條件下pixel也有電壓輸出；此外傳感器中ADC模塊難以將接近0的信息進(jìn)行轉(zhuǎn)化。因此在其他模塊對數(shù)據(jù)做處理時，需要先減去黑電平，消除圖像信息誤差。如圖所示，若不進(jìn)行黑電平校正，最后圖像色彩會不自然。

去馬賽克模塊通過色彩插值來恢復(fù)RAW數(shù)據(jù)中每個像素缺失的色彩信息，而該模塊同時對圖像的清晰度和噪聲都有顯著影響，是ISP中的核心模塊之一。

色彩插值的一般思路是:根據(jù)圖像信息平滑性的特性，使用像素點(diǎn)周圍與缺失色彩的同色信息來完成插值。因此如何設(shè)計一個魯棒的采樣機(jī)制是去馬賽克算法的核心。

這里展示了去馬賽克算法會遇到的經(jīng)典問題。比如因?yàn)檫吘壣蔬^渡強(qiáng)烈，算法會難以對待插值點(diǎn)的缺失色彩進(jìn)行正確地采樣，因此會出現(xiàn)偽彩、拉鏈效應(yīng)等。同時當(dāng)圖像空間頻率高而采樣頻率不足時，就會出現(xiàn)混疊問題，導(dǎo)致圖像中出現(xiàn)偽影。目前也有人在做進(jìn)一步的研究，比如使用深度學(xué)習(xí)完成聯(lián)合去馬賽克去噪任務(wù)。

另一個核心模塊是白平衡（White Balance），該模塊的任務(wù)是確保在不同的光源條件下，場景目標(biāo)呈現(xiàn)色彩是一致的。對圖像進(jìn)行白平衡的依據(jù)來源于人類視覺系統(tǒng)所具有的色彩恒常性（Color Constancy），即人類對物體色彩感知不受光源影響。該機(jī)制的一種體現(xiàn)如圖所示，在這張圖片中，沒有一個像素點(diǎn)表示紅色，但是當(dāng)我們從整體來看這張圖，立刻會產(chǎn)生“紅色草莓”、“黃色木桌”、“白色盤子”的印象。這就是我們大腦根據(jù)一些“先驗(yàn)知識”進(jìn)行自動白平衡的結(jié)果。但這張圖片的顏色本身還是很不自然，該問題發(fā)生的典型情況就是相機(jī)Sensor在不同色溫的光源下，被攝對象會呈現(xiàn)出不同的顏色，也就是色偏（Color Cast）問題。

白平衡的常用校正模型是對角模型，其數(shù)學(xué)含義是當(dāng)我們能正確估計光源色溫后，將輸入圖像的各色彩通道乘以對應(yīng)增益校正值，得到標(biāo)準(zhǔn)光源下的色彩值。白平衡的核心也是光源估計問題。這里介紹一個經(jīng)典的算法灰度世界法，該算法的假設(shè)是色彩豐富的圖像中，場景RGB顏色分量的平均值就能反應(yīng)光源顏色，在達(dá)成白平衡的圖像中圖像各顏色通道的平均值應(yīng)該是相等的，即R平均=G平均=B平均，其算法流程如圖所示。

第一步，計算圖像各顏色通道的平均值和整體的平均值，這里該整體平均值記作gray； 第二步：若指定了標(biāo)準(zhǔn)光源色溫，則用標(biāo)準(zhǔn)光源顏色值與圖像各顏色通道平均值相比得到增益系數(shù)。同時也可以將Gray值與各顏色通道平均值相比，得到增益系數(shù)。后一種做法屬于自動白平衡。最后使用對角校正模型就可以完成白平衡操作。

另外，在ISP中都會有一個顏色校正模塊，CCM（Color Correction Matrix），它是通過色彩矯正矩陣對圖像的色彩進(jìn)行線性變換，使得校正后的圖像的效果更接近人眼的視覺感知。該矩陣值也是經(jīng)過標(biāo)定得到的。這里存在一個約束是，CCM不能破壞白平衡，因此CCM需要在白平衡之后，且要保證灰色系區(qū)域仍滿足R=G=B。

數(shù)字圖像信號在采集、傳輸和顯示過程中受到成像設(shè)備以及外部環(huán)境的影響，會包含許多噪聲，噪聲會影響圖像的視覺效果，也會給后續(xù)的圖像分析，如壓縮、編碼、識別等，造成不利影響，因此需要對噪聲圖像進(jìn)行去噪處理。

ISP中RAW圖去噪環(huán)節(jié)更靠近傳感器端，因此該環(huán)節(jié)能夠更有效地抑制圖像信號采集過程中遇到的噪聲，如光子散粒噪聲、固定模式噪聲、暗電流噪聲等。但即使經(jīng)過RAW圖去噪，由信號采集環(huán)節(jié)引入噪聲也不會完全消除，而且當(dāng)ISP將采集的圖像信號轉(zhuǎn)換到Y(jié)UV域時，圖像信號又經(jīng)過ISP中多個處理模塊，每個模塊不同程度地引入了新的噪聲。YUV圖像去噪環(huán)節(jié)可以在圖像最終成像前再次有效地增大圖像信號的信噪比，提高圖像質(zhì)量，直接影響到后續(xù)圖像視覺效果。該環(huán)節(jié)處理的信息包括圖像亮度和色度。

人類對噪聲的知覺特性對去噪算法的設(shè)計具有指導(dǎo)意義：

（1）人眼對亮度和色度的空間分辨能力是不同的，在低頻段對色度的分辨能力大于亮度，而圖像主體內(nèi)容是由低頻成分決定的。

（2）噪聲影響的一般規(guī)律是幅度小的高頻噪聲對主觀圖像質(zhì)量影響較小，而幅度大的低頻噪聲對主觀圖像質(zhì)量影響較大。

因此基本的去噪假設(shè)是對于畫面中的平坦區(qū)域（Homogeneous Area）, 也就是圖像低頻成分，認(rèn)為像素變化主要是由噪聲引起的，可以加大降噪力度；對于畫面中的紋理區(qū)域（Textured Area）, 也就是圖像高頻成分即細(xì)節(jié)，認(rèn)為像素變化主要是由紋理引起的，噪聲只占較小部分，需要控制降噪力度，盡量保持圖像的紋理特征。

下面簡單介紹一些常用的去噪思路。第一種是多分辨率分析。

多分辨率分析的出發(fā)點(diǎn)是在某種分辨率下無法檢測的特性，在另一種分辨率下便容易檢測。從數(shù)學(xué)角度上看圖像信號，圖像是具有局部變化統(tǒng)計特性的亮度值的二維矩陣，我們難以對整幅圖像建立統(tǒng)計模型，因此可以考慮在不同圖像分辨率下分析不同尺度的圖像特征。

第二種是經(jīng)典的NLM算法。

利用圖像全局的自相似性，以圖像塊為單位在圖像中尋找相似區(qū)域，再對這些區(qū)域求平均，在圖像平滑的基礎(chǔ)上能很好地保持細(xì)節(jié)信息，魯棒性較好。

NLM算法思路如圖所示，式中p代表待去噪像素位置，q代表用于加權(quán)計算的參考像素位置，v(x)表示像素x所在圖像塊構(gòu)成的像素值向量，權(quán)重w(p,q)表示像素p和q之間的相似性，注意兩個像素間的相似性一般都是由對應(yīng)圖像塊的像素值向量v(x)決定的。根據(jù)NLM的思想，因?yàn)?q1和q2像素與待去噪點(diǎn)p像素有更相似的鄰域，而q3像素鄰域與p像素差異較大，因此，對p像素的去噪，q1和q2像素的貢獻(xiàn)更大。

權(quán)重w(p,q)的計算，可以用高斯加權(quán)的歐式距離來衡量，其中α為高斯核函數(shù)的標(biāo)準(zhǔn)差，一般取值為2~5。

最終權(quán)重w(p,q)計算公式如右式所示，式中Z(p)為權(quán)重歸一化常數(shù)，參數(shù)h控制指數(shù)函數(shù)的衰減速度，取值與圖像中的噪聲水平σ線性相關(guān)，取h=λ?σ，σ為噪聲圖像的標(biāo)準(zhǔn)差。

注意，NLM最后計算待去噪像素p自身所在圖像塊權(quán)重w，即p=q時，取當(dāng)前最大權(quán)重。

雙邊濾波是在高斯濾波原理的基礎(chǔ)上做了擴(kuò)展，除了考慮像素距離之外，還考慮當(dāng)前像素和周圍像素亮度的差異，對距離近但顏色差異大的像素會分配小的權(quán)重，這樣就得到邊緣保持效果。

雙邊濾波的濾波器設(shè)計由兩個函數(shù)構(gòu)成，一個函數(shù)是由像素幾何空間距離決定空間域?yàn)V波器系數(shù)，另一個是由像素差值決定值域?yàn)V波器系數(shù)。公式如圖所示，式中p表示當(dāng)前處理像素位置，q表示鄰域內(nèi)參考像素位置，I表示像素值，G表示高斯核函數(shù)，σ為高斯核函數(shù)的方差系數(shù)，S代表整張圖像，Wp是權(quán)重值的總和，用于歸一化權(quán)重。從該公式可以看到，在圖像的平坦區(qū)域，像素值變化很小，對應(yīng)的像素值域（Range Weight）濾波器系數(shù)接近于1，此時空間域權(quán)重（Space Weight）起主導(dǎo)作用，相當(dāng)于進(jìn)行高斯模糊；在圖像的邊緣區(qū)域，像素值變化很大，像素值域?yàn)V波器系數(shù)影響變大，變化規(guī)律是隨著像素值差的增大，最終濾波器系數(shù)會減小，從而保持了邊緣的信息。

清晰度是圖像質(zhì)量的關(guān)鍵評價指標(biāo)之一，對清晰度定性的理解，可以認(rèn)為它反映了圖像中邊緣和紋理的可分辨程度。對清晰度定量的分析，主要有兩個直接相關(guān)的因素：銳度和分辨率。銳度描述的是圖像邊緣過渡的快慢，過渡越快，銳度越高。分辨率描述的是像素數(shù)量，離散的像素數(shù)量越多，越能逼近真實(shí)世界的連續(xù)信號。

最下邊的一組圖展現(xiàn)不同銳度和分辨率下的圖像感知效果。最左邊，高銳度高分辨率的圖像，紐扣的邊緣清晰可見，能呈現(xiàn)出衣服真實(shí)的紋理。當(dāng)銳度下降，圖像變得模糊；當(dāng)分辨率下降，因?yàn)榛殳B，衣服紋理變得不規(guī)則，不夠細(xì)膩。

ISP中的銳化處理的都是圖像的銳度，基本思路也就是增強(qiáng)圖像的邊緣對比度。如圖所示，讓邊緣過渡得更劇烈，但就會引入光暈問題，在圖像邊緣出現(xiàn)白邊。

現(xiàn)實(shí)世界的場景豐富多彩，這些場景具有很高的動態(tài)范圍，場景的動態(tài)范圍定義為場景中最亮部分的亮度值與最暗部分的亮度值之比。動態(tài)范圍越廣，圖像中所能表現(xiàn)的層次就越豐富。

但設(shè)備中的顯示位深有限，若左下圖所示，當(dāng)顯示系統(tǒng)的動態(tài)范圍不足時，在圖像捕捉過程中很有可能會發(fā)生鉗位（clipping），如果是亮區(qū)發(fā)生飽和稱為高光鉗位（high light clipping），如果是暗區(qū)發(fā)生鉗位則稱為陰影鉗位（shadow clipping），在同一場景中兩者可能會同時存在。

因此需要使用GTM模塊，在有限動態(tài)范圍媒介上近似顯示高動態(tài)范圍。

此外，如右下圖所示，如果不做色調(diào)映射處理，攝像機(jī)直接輸出最原始的線性圖像，但在人眼看來圖像比正常的要暗，這是因?yàn)槿说囊曈X系統(tǒng)對視野中的暗區(qū)更敏感，視覺系統(tǒng)對暗區(qū)信號做了提升以形成更強(qiáng)烈的知覺。而這個特性也是ISP中引入伽馬校正的來源。

因?yàn)槿搜鄣母兄蔷€性，在圖像顯示結(jié)果上，我們感知的中等灰度實(shí)際只有純白色物理關(guān)照度的1/4~1/5