手机如何消除马赛克图片

ISP（图像信号处理）算法概述、⼯作原理、架构、处理流程

⽬录

ISP的主要内部构成：ISP内部包含CPU、SUPIP（各种功能模块的通称）、IF等设备

ISP的控制结构：1、ISP逻辑2、运⾏在其上的firmware

ISP上的Firmware包含三部分：

AP对ISP的操控⽅式：外置：I2C/SPI。内置：MEMMAP、MEMSHARE

ISP架构⽅案：内置、外置

ISP处理流程：

Bayer、⿊电平补偿（blacklevelcompensation）、镜头矫正（lensshadingcorrection）、坏像素矫正（badpixelcorrection）、

颜⾊插值（demosaic）、Bayer噪声去除、⽩平衡（AWB）矫正、⾊彩矫正（colorcorrection）、gamma矫正、⾊彩空间转换

（RGB转换为YUV）、在YUV⾊彩空间上彩噪去除与边缘加强、⾊彩与对⽐度加强，中间还要进⾏⾃动曝光控制等，然后输出

YUV（或者RGB）格式的数据，再通过I/O接⼝传输到CPU中处理。

概念

ISP是ImageSignalProcessor的简称，也就是图像信号处理器。

DSP是DigitalSignalProcessor的缩写，也就是数字信号处理器。

ISP⼀般⽤来处理ImageSensor（图像传感器）的输出数据，如做AEC（⾃动曝光控制）、AGC（⾃动增益控制）、AWB（⾃动⽩平

衡）、⾊彩校正、LensShading、Gamma校正、祛除坏点、AutoBlackLevel、AutoWhiteLevel等等功能的处理。

⽽DSP功能就⽐较多了，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video的编解码）、H.264的编解码、还有很多其

他⽅⾯的处理，总之是处理数字信号了。ISP是⼀类特殊的处理图像信号的DSP。

ISP架构⽅案：分为独⽴（外置）与集成（内置）两种形式。

CPU处理器包括：AP、BP、CP。其中BP：基带处理器、AP：应⽤处理器、CP：多媒体加速器。

ISP的主要内部构成

如下图所⽰，ISP内部包含CPU、SUPIP、IF等设备，事实上，可以认为ISP是⼀个SOC（systemofchip），可以运⾏各种算法程

序，实时处理图像信号。

CPU：CPU即中央处理器，可以运⾏AF、LSC等各种图像处理算法，控制外围设备。现代的ISP内部的CPU⼀般都是ARMCortex-

A系列的，例如Cortex-A5、Cortex-A7。

SUBIP：SUBIP是各种功能模块的通称，对图像进⾏各⾃专业的处理。常见的SUBIP如DIS、CSC、VRA等。

图像传输接⼝：图像传输接⼝主要分两种，并⼝ITU和串⼝CSI。CSI是MIPICSI的简称，鉴于MIPICSI的诸多优点，在⼿机相机领

域，已经⼴泛使⽤MIPI-CSI接⼝传输图像数据和各种⾃定义数据。外置ISP⼀般包含MIPI-CSIS和MIPI-CSIM两个接⼝。内置ISP⼀

般只需要MIPI-CSIS接⼝。

通⽤外围设备：通⽤外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，⽤于读取OTP信息，控制

VCM等。对于外置ISP，ISP本⾝还是I2C从设备。AP可以通过I2C控制ISP的⼯作模式，获取其⼯作状态等。

ISP的控制结构

ISP包括：1、ISP逻辑2、运⾏在其上的firmware

如图所⽰，lens将光信号投射到sensor的感光区域后，sensor经过光电转换，将Bayer格式的原始图像送给ISP，ISP经过算法处理，

输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运⾏在其上的firmware（固件）对ISP逻辑，从⽽对lens和

sensor进⾏相应控制，进⽽完成⾃动光圈、⾃动曝光、⾃动⽩平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ

Tools⼯具通过⽹⼝或者串⼝完成对ISP的在线图像质量调节。

ISP由ISP逻辑及运⾏在其上的Firmware组成，逻辑单元除了完成⼀部分算法处理外，还可以统计出当前图像的实时信息。Firmware通过

获取ISP逻辑的图像统计信息，重新计算，反馈控制lens、sensor和ISP逻辑，以达到⾃动调节图像质量的⽬的。

ISP上的Firmware包含三部分

ISP的Firmware包含三部分，⼀部分是ISP控制单元和基础算法库，⼀部分是AE/AWB/AF算法库，⼀部分是sensor库。Firmware设

计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A算法库，同时sensor库分别向ISP基础算法库和3A算法库注册

函数回调，以实现差异化的sensor适配。ISPfirmware架构如图所⽰。

不同的sensor都以回调函数的形式，向ISP算法库注册控制函数。ISP控制单元调度基础算法库和3A算法库时，将通过这些回调函数获

取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens步进聚焦或旋转光圈等。

AP对ISP的操控⽅式

CPU处理器包括：AP、BP、CP。BP：基带处理器、AP：应⽤处理器、CP：多媒体加速器

这⾥所说的控制⽅式是AP对ISP的操控⽅式。

I2C/SPI：这⼀般是外置ISP的做法。SPI⼀般⽤于下载固件、I2C⼀般⽤于寄存器控制。在内核的ISP驱动中，外置ISP⼀般是实现为

I2C设备，然后封装成V4L2-SUBDEV。

MEMMAP：这⼀般是内置ISP的做法。将ISP内部的寄存器地址空间映射到内核地址空间，

MEMSHARE：这也是内置ISP的做法。AP这边分配内存，然后将内存地址传给ISP，⼆者实际上共享同⼀块内存。因此AP对这段共

享内存的操作会实时反馈到ISP端。

ISP架构⽅案

上⽂多次提到外置ISP和内置ISP，这实际上是ISP的架构⽅案。

外置ISP架构

外置ISP架构是指在AP外部单独布置ISP芯⽚⽤于图像信号处理。外置ISP的架构图⼀般如下所⽰：

外置ISP架构的优点主要有：

能够提供更优秀的图像质量：在激烈的市场竞争下，能够存活到现在的外置ISP⽣产⼚商在此领域⼀般都有很深的造诣，积累了丰富的影像

质量调试经验，能够提供⽐内置ISP更优秀的性能和效果。因此，选⽤优质的外置ISP能提供专业⽽且优秀的图像质量。

能够⽀援更丰富的设计规划：外置ISP的选型基本不受AP的影响，因此魅族可以从各个优秀ISP芯⽚供应商的众多产品中甄选最合适的

器件，从⽽设计出更多优秀的产品。

能够实现产品的差异化：内置ISP是封装在AP内部的，是和AP紧密的联系在⼀起，如果AP相同，那么ISP也就是⼀样的。因此基于

同样AP⽣产出来的⼿机，其ISP的性能也是⼀样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。⽽如果选择外置

ISP，那么同⼀颗AP，可以搭配不同型号的ISP，这样可以实现产品的差异化，为给⽤户提供更丰富和优质的产品。

外置ISP架构的缺点主要有：

成本价格⾼：外置ISP需要单独购买，其售价往往不菲，⽽且某些特殊功能还需要额外⽀付费⽤。使⽤外置ISP，需要进⾏额外的原理图设

计和LAYOUT，需要使⽤额外的元器件。

开发周期长：外置ISP驱动的设计需要多费精⼒和时间。使⽤外置ISP时，AP供应商提供的ISP驱动就⽆法使⽤，需要额外设计编写外

置ISP驱动。另外，为了和AP进⾏完美的搭配，将效果最⼤化，也往往需要付出更多的调试精⼒。上⽂也提到，使⽤外置ISP，需要进⾏

额外的原理图设计和LAYOUT，需要使⽤额外的元器件，这也是需要花费时间进⾏处理的。

内置ISP架构：

内置ISP架构是指在AP内部嵌⼊了ISPIP，直接使⽤AP内部的ISP进⾏图像信号处理。内置ISP的架构图⼀般如下所⽰：

内置ISP架构的优点主要有：

能降低成本价格：内置ISP内嵌在AP内部，因此⽆需像外置ISP⼀样需要额外购买，且不占PCB空间，⽆需单独为其设计外围电路，

这样就能节省BOM，降低成本。鉴于⼤多数⽤户在选购⼿机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，

有利于占领市场。

能提⾼产品的上市速度：内置ISP和AP紧密结合，⽆需进⾏原理图设计和LAYOUT设计，因此可以减⼩开发周期，加快产品上市的速

度。

能降低开发难度：如果使⽤内置ISP，那么AP供应商能在前期提供相关资料，驱动开发⼈员可以有充⾜的时间熟悉相关资料，⽽且不会存

在软件版本适配问题，也不存在平台架构兼容性问题。但是，如果使⽤外置ISP，那么ISP供应商往往都不能提供针对某个平台的代码/资

料，⽽且⼀般都存在软件版本兼容问题，这就需要驱动开发⼈员付出额的经历和时间。

使⽤内置ISP当然也有相应的不⾜之处，具体见上⽂的分析，这⾥就不赘述了。

事实上，鉴于ISP的重要性，为了推⼴其AP，提⾼其AP竞争⼒，现在AP内置的ISP也越来越强⼤，其性能⾜以满⾜⼿机市场的需

求。再加上其⼀系列优点，现在使⽤内置ISP⽅案的⼿机越来越多。

ISP处理流程

图像产⽣过程：景物通过Lens⽣成的光学图像投射到sensor表⾯上，经过光电转换为模拟电信号，消噪声后经过A/D转换后变为数字

图像信号，再送到数字信号处理芯⽚（DSP）中加⼯处理。

所以，从sensor端过来的图像是Bayer图像，经过⿊电平补偿（blacklevelcompensation）、镜头矫正（lensshading

correction）、坏像素矫正（badpixelcorrection）、颜⾊插值（demosaic）、Bayer噪声去除、⽩平衡（awb）矫正、⾊彩矫正

（colorcorrection）、gamma矫正、⾊彩空间转换（RGB转换为YUV）、在YUV⾊彩空间上彩噪去除与边缘加强、⾊彩与对⽐度加

强，中间还要进⾏⾃动曝光控制等，然后输出YUV（或者RGB）格式的数据，再通过I/O接⼝传输到CPU中处理。

（拜⽿滤波器得到彩⾊）

图像在将实际的景物转换为图像数据时，通常是将传感器分别接收红、绿、蓝三个分量的信息，然后将红、绿、蓝三个分量的信息合成

彩⾊图像。该⽅案需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每⼀个像素点都对齐。

通过在⿊⽩cmos图像传感器的基础上，增加彩⾊滤波结构和彩⾊信息处理模块就可以获得图像的彩⾊信息，再对该彩⾊信息进⾏处理，

就可以获得⾊彩逼真的彩⾊图像。通常把彩⾊图像传感器表⾯覆盖的滤波称为彩⾊滤波阵列（ColorFilterArrays，CFA）。

⽬前最常⽤的滤镜阵列是棋盘格式的，已经有很多种类的，其中绝⼤多数的摄像产品采⽤的是原⾊贝尔模板彩⾊滤波阵列（Bayer

PatternCFA）。R、G、B分别表⽰透红⾊、透绿⾊和透蓝⾊的滤镜阵列单元。由于⼈的视觉对绿⾊最为敏感，所以在BayerCFA中G分

量是R和B的⼆倍，在每个像素点上只能获取⼀种⾊彩分量的信息，然后根据该⾊彩分量的信息通过插值算法得到全⾊彩图像。

(BlacklevelCorrection)（⿊电平补偿）

a.暗电流

物理器件不可能是理想的，由于杂质、受热等其他原因的影响，即使没有光照射到象素，象素单元也会产⽣电荷，这些电荷产⽣了暗电

流。⽽且，暗电流与光照产⽣的电荷很难进⾏区分。

evel

BlackLevel是⽤来定义图像数据为0时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的⿊平衡（数据

不为0）。所以，为减少暗电流对图像信号的影响，可以采⽤的有效的⽅法是从已获得的图像信号中减去参考暗电流信号。⼀般情况下，在

传感器中，实际像素要⽐有效像素多，如下图所⽰，像素区头⼏⾏作为不感光区（实际上，这部分区域也做了RGB的colorfilter），⽤

于⾃动⿊电平校正，其平均值作为校正值，然后在下⾯区域的像素都减去此矫正值，那么就可以将⿊电平矫正过来了。

做了blacklevel矫正与没做blacklevel矫正的对⽐，没做blacklevel矫正的图⽚会⽐较亮，影响图像的对⽐度。

(LensShadingCorrection)（镜头矫正）

由于镜头本⾝的物理性质，造成图像四周亮度相对中⼼亮度逐渐降低，以及，由于图像光照在透过镜头照射到pixel上时，边⾓处的焦点夹

⾓⼤于中⼼焦点夹⾓，造成边⾓失光。表现在图像上的效果就是亮度从图像中⼼到四周逐渐衰减，且离图像中⼼越远亮度越暗。为了补偿

四周的亮度，需要进⾏LensShading的矫正。

LensShading的矫正的⽅法是根据⼀定的算法计算每个像素对应的亮度矫正值，从⽽补偿周边衰减的亮度。

矫正⽅法有⼆次项矫正、四次项矫正。

(BadPixelCorrection)（坏点矫正）

a.坏点

坏点为全⿊环境下输出图像中的⽩点，⾼亮环境下输出图像中的⿊点。

b.坏点修复⽅法

⼀般情况下，RGB信号应与景物亮度呈线性响应关系，但由于Senor部分pixel不良导致输出的信号不正常，出现⽩点或⿊点。

坏点修复⽅法通常有两种：

⼀种是⾃动检测坏点并⾃动修复，另⼀种是建⽴坏点像素链表进⾏固定位置的坏像素点修复，这种⽅式是OTP的⽅式。

ic颜⾊插值（抵马赛克）

当光线通过Bayer型CFA（ColorFilterArrays）阵列之后，单⾊光线打在传感器上，每个像素都为单⾊光，从⽽理想的Bayer图是⼀

个较为昏暗的马赛克图。

⾸先需要说明的就是demosaiced并不是和字⾯的意思⼀样是为了去除电影中的⼀些打马赛克的图像，⽽是数字图像处理中⽤来从不完整的

colorsamples插值⽣成完整的colorsamples的⽅法(因为bayerpattern看起来像⼀个个马赛克，因此称为去马赛克)。在sensor端通常

需要使⽤CFA滤镜来得到Bayerpattern，⽽在后⾯的处理中需要把bayerpattern变成完整的RGB444(真彩⾊)图像。在ISP中需要有这么

⼀个模块来做。

在传统的ISP中有很多算法可以来做这个插值，包括最近邻域法，bilinear插值，cubic插值等。

enoise（去噪声）

使⽤cmossensor获取图像，光照程度和传感器问题是⽣成图像中⼤量噪声的主要因素。同时，当信号经过ADC时，⼜会引⼊其他⼀些

噪声。这些噪声会使图像整体变得模糊，⽽且丢失很多细节，所以需要对图像进⾏去噪处理空间去噪传统的⽅法有均值滤波、⾼斯滤波

等。

但是，⼀般的⾼斯滤波在进⾏采样时主要考虑了像素间的空间距离关系，并没有考虑像素值之间的相似程度，因此这样得到的模糊结果通

常是整张图⽚⼀团模糊。所以，⼀般采⽤⾮线性去噪算法，例如双边滤波器，在采样时不仅考虑像素在空间距离上的关系，同时加⼊了

像素间的相似程度考虑，因⽽可以保持原始图像的⼤体分块，进⽽保持边缘。

(AutomaticWhiteBalance)（⾃动⽩平衡）

⽩平衡的基本原理是在任意环境下，把⽩⾊物体还原成⽩⾊物体，也就是通过找到图像中的⽩块，然后调整R/G/B的⽐例，如下关系：

R’=R*R_Gain

G’=G*G_Gain

B’=B*B_Gain

R’=G’=B’

AWB算法通常包括的步骤如下：

(1)⾊温统计：根据图像统计出⾊温；

(2)计算通道增益：计算出R和B通道的增益；

(3)进⾏偏⾊的矫正：根据给出的增益，算出偏⾊图像的矫正。

orrection（颜⾊矫正）

由于⼈类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，还有透镜等的影响，得到的RGB值颜⾊会存在偏差，因此必

须对颜⾊进⾏校正，通常的做法是通过⼀个3x3的颜⾊变化矩阵来进⾏颜⾊矫正。

orrection（伽马矫正）

⼈眼对外界光源的感光值与输⼊光强不是呈线性关系的，⽽是呈指数型关系的。在低照度下，⼈眼更容易分辨出亮度的变化，随着照度的

增加，⼈眼不易分辨出亮度的变化。⽽摄像机感光与输⼊光强呈线性关系，为⽅便⼈眼辨识图像，需要将摄像机采集的图像进⾏gamma

矫正。

Gamma矫正是对输⼊图像灰度值进⾏的⾮线性操作，使输出图像灰度值与输⼊图像灰度值呈指数关系：

out=Vin^gamma

这个指数就是gamma，横坐标是输⼊灰度值，纵坐标是输出灰度值，蓝⾊曲线是gamma值⼩于1时的输⼊输出关系，红⾊曲线是

gamma值⼤于1时的输⼊输出关系。可以观察到，当gamma值⼩于1时(蓝⾊曲线)，图像的整体亮度值得到提升，同时低灰度处的

对⽐度得到增加，更利于分辩低灰度值时的图像细节。

10.⾊彩空间转换

YUV是⼀种基本⾊彩空间，⼈眼对亮度改变的敏感性远⽐对⾊彩变化⼤很多，因此，对于⼈眼⽽⾔，亮度分量Y要⽐⾊度分量U、V重

要得多。所以，可以适当地抛弃部分U、V分量，达到压缩数据的⽬的。

YCbCr其实是YUV经过缩放和偏移的改动版，Y表⽰亮度，Cr、Cb表⽰⾊彩的⾊差，RGB信号亮度值之间的差异，分别是红⾊和蓝⾊的

分量。在YUV家族中，YCbCr是在计算机系统中应⽤最多的成员，其应⽤领域很⼴泛，JPEG、MPEG均采⽤此格式。⼀般⼈们所讲的

YUV⼤多是指YCbCr。YCbCr有许多取样格式，如4∶4∶4，4∶2∶2，4∶1∶1和4∶2∶0。

Cb：反映的是RGB输⼊信号蓝⾊部分与RGB信号亮度值之间的差异。

Cr：反映了RGB输⼊信号红⾊部分与RGB信号亮度值之间的差异。

在以下两个公式中RGB和YCbCr各分量的值的范围均为0-255。

RGB转换为Ycbcr公式：

Y=0.257*R+0.564*G+0.098*B+16

Cb=-0.148*R-0.291*G+0.439*B+128

Cr=0.439*R-0.368*G-0.071*B+128

YCbCr转换为RGB公式：

R=1.164*(Y-16)+1.596*(Cr-128)

G=1.164*(Y-16)-0.392*(Cb-128)-0.813*(Cr-128)

B=1.164*(Y-16)+2.017*(Cb-128)

⾊彩空间转换这个模块，是将RGB转换为YUV444，然后在YUV⾊彩空间上进⾏后续的彩⾊噪声去除、边缘增强等，也为后续输出转

换为jpeg图⽚提供⽅便。

enoise

为了抑制图像的彩⾊噪声，⼀般采⽤低通滤波器进⾏处理。例如使⽤M×N的⾼斯低通滤波器在⾊度通道上进⾏处理。

参考：

⾼通camera结构（摄像头基础介绍）

ISP算法概述

ISP概述、⼯作原理及架构

ISPDSP的区别

数字图像处理颜⾊空间RGB、HSI、CMYK、YUV的相互转换

ISP基本框架及算法介绍

SP（图像信号处理）之——图像处理概述

相机系统综述——ISP