ISP 算法 - 传感器输出数据介绍

sensor是什么？

  光线通过镜头Lens进入摄像头内部，然后经过IR Filter过滤红外光，最后到达sensor（传感器），senor分为按照材质可以分为CMOS和CCD两种，可以将光学信号转换为电信号，再通过内部的ADC电路转换为数字信号，然后传输给DSP（如果有的话，如果没有则以DVP的方式传送数据到基带芯片baseband，此时的数据格式Raw Data，后面有讲进行加工）加工处理，转换成RGB、YUV等格式输出。

为什么需要IR Filter滤除红外光？

从图中可以看出由于人眼的特殊性，我们肉眼感受不到红外光，因此除特殊用途例如红外摄像头外，我们一般会滤除红外观。

sensor输出的数据类型

RAW data 、YUV 、RGB 、JPEG等格式，但是Sensor输出的原始数据都为RAW data数据，这是Sensor输出的最原始的数据，不论视频最后转成什么格式，都首先需要从RAW格式转。

YUV:

luma (Y) + chroma (UV) 格式， 一般情况下sensor支持YUV422格式，即数据格式是按Y-U-Y-V次序输出的

RGB:

传统的红绿蓝格式，比如RGB565，其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼对绿色比较敏感。

RAW RGB:

sensor的每一像素对应一个彩色滤光片，滤光片有不同的种类，其中最为广泛的是Bayer pattern分布，具体如下图所示。

将每一个滤镜输出的值作为，每个像素的数据直接输出，即RAW RGB data，一般有RAW8、RAW10、RAW12等，分别表示一个像素点有8bit数据、10bit数据、12bit数据。
RAW格式文件本质上是一个没有经任何图像处理的源文件，它能原原本本的记录下相机拍摄到的的信息，没有因为图像处理（如锐化、增加色彩对比）和压缩而造成的信息丢失，但需要经过相关的ISP处理才能够呈现出来。

JPEG:

有些sensor，特别是低分辨率的，其自带JPEG engine，可以直接输出压缩后的jpg格式的数据
JPEG格式为一种非常普及的照片格式，差不多所有现代数码相机都能使用这个格式，绝大部分的计算机上也能打开JPEG文件，使用者也可以随意设定压缩程度来保留画质（最佳的JPEG画质跟RAW 的非常接近），是一种十分方便的格式。

参考：
http://www.liuwenhao.me/?p=1814
http://t.zoukankan.com/sky-heaven-p-7217560.html