色彩空间和像素格式

作者：叶余

来源：https://www.cnblogs.com/leisure_chn/p/10290575.html

cnblogs 网站将文本J:a:b渲染成了J????️b。是否可通过设置博客后台解决此问题？有知道的同学请留言指点一下，谢谢。

1. 色彩空间基础

颜色是不同波长的光对人眼刺激产生的色彩感觉。色彩空间(Color Space)是颜色的数学表示，根据不同的表示方法分为不同的色彩模型。最常用的色彩模型有三类：RGB(用于计算机图形学), YUV(用于视频系统), CMYK(用于彩色印刷)。后文对色彩空间与色彩模型的叫法不作区分。本文仅讨论视频图像处理领域常用的 RGB 色彩空间和 YUV 色彩空间。

颜色与光源特性和人眼视觉特性有密切的关系，与之相关的学科有光度学和色度学。光度学是研究光学计量的学科，定义了光通量、发光强度、照度、亮度等主要光度学参量以及几个光度学重要定律。光度学考虑的是可见光范围，并且考虑人眼主观影响。色度学是研究色彩计量的科学，它定性和定量地研究人眼的颜色视觉规律、颜色测量理论与技术。色度学是研究视频技术的重要理论基础，将色度学中最基础的两个概念摘录如下。本节内容，是理解图像色彩相关知识的基础，已经简洁的不能再简洁。

1.1 光的常用度量

描述光的常用物理量有四个：光通量、光强、照度、亮度。如下两张示意图引用自“如何正确理解照度和亮度的关系?”，图中涉及三个角色：光源、物体(被观察者)与人眼(观察者)。

如下概念的描述，力求通俗，因此并不准确。

1.1.1 光通量

单位时间内由光源所发出或由被照物所吸收的总光能。单位流明。

在第一张图中，灯泡在单位时间内散发的的光的总和即为光通量。光通量衡量光源总的发光量。

1.1.2 光强

光源在给定方向上，每单位立体角内所发出的的光通量。单位坎德拉。

在第一张图中，光源射向照射面的一根光线表示光强。光强衡量光源的发光强度。

1.1.3 照度

物体表面每单位面积入射可见光的光通量。单位勒克斯。

照度在被观察者(被照物体)角度，衡量接受到的光的强弱。

1.1.4 亮度

描述发光面或反光面上光的明亮程度的光度量。单位坎德拉每平方米。

亮度在观察者(人眼)角度，衡量感受到的光的明亮程度。

在第二张图中，理想情况下，被同一光源照射，黑色书和白色书具有同样的照度，却有不同的亮度。

1.2 色度学基础

1.2.1 彩色三要素

光的颜色取决于客观和主观两方面的因素。客观因素是光的功率波谱分布，它影响光源的颜色。主观因素是人眼视频特性，它影响人眼对色彩的感觉。 彩色三要素指亮度(Lightness)、色调(Hue)和饱和度(Saturation)，任一色彩都可以用这三个基本参量来表示：

亮度表示颜色明暗的程度，是光作用于人眼时引起的明亮程度的感觉。

色调是指颜色的类别，例如红色、蓝色、绿色指的就是色调。

饱和度指颜色的深浅程度，也称彩度。例如深绿、浅绿指的就是绿色这个色调的饱和度，饱和度越高，颜色越深。

1.2.2 三基色原理

三基色原理指自然界中大部分彩色都可以由三种基色按不同比例混合得到。选择三种基色的前提的：每一种基色都不能由另外两种基色混合得到，这三种基色互相独立。三基色原理主要内容如下：

1. 自然界中的绝大部分彩色，都可以由三种基色按一定比例混合得到；反之，任意一种彩色均可被分解为三种基色。
2. 作为基色的三种彩色，要相互独立，即其中任何一种基色都不能由另外两种基色混合来产生。
3. 由三基色混合而得到的彩色光的亮度等于参与混合的各基色的亮度之和。
4. 三基色的比例决定了混合色的色调和色饱和度。

不同颜色混合在一起能产生新的颜色，这种方法称为混色法。色彩空间 RGB 是采用了 R、G、B 三种基色，色彩空间 CMYK 是采用了 C、M、Y 三种基色。

我们看一张包含彩色三要素和 RGB 三原色的示意图：

2. RGB 色彩空间

太深的原理已超出本文的讨论范围和研究目的。这里摘录一些经验观点：

RGB 三原色不是唯一的正交基，还可以有其他选择，只不过 RGB 能组合出来的颜色更为丰富。[8]

不考虑人类视觉的特殊性时，我们平时所认为的“红+绿=黄”之类的“颜色叠加”是不成立的。因为红色和绿色的单色光的混合只有在人类的视觉中才会跟黄色的单色光一样，它们在其它动物的视觉中不一定是一样的。也就是说，不考虑人类视觉的特殊性时，不存在 RGB 颜色空间。[8]

人类有三种视锥细胞用于感知颜色，这三种视锥细胞对红(R)、绿(G)、蓝(B)三种颜色敏感。[9]

人眼看到的物体颜色，是光源照射到物体，物体吸收(还有透射)部分颜色的光，然后从物体表面反射的光线进入人眼后人眼得到的色彩感觉。

人眼看到物体为黑色，是因为没有光线从物体表面反射进入人眼。一种情况是物体将光线完全吸收，没有光从物体表面反射出来(例如白天我们看一件黑衣服)；另外一种情况是没有任何光线照射到物体(例如黑夜我们看一张白纸)。

人眼看到物体为白色，是因为在白光源照射下，物体不吸收光线而将光线全部反射(例如白天我们看一张白纸)。

颜色与光源和物体的吸色特性密切相关，基于此，引出混色方法中的加色法和减色法。

加色法利用光源发射特性，将各分色的光谱成分相加得到混合颜色。RGB 色彩空间采用加色法。当无任何光线照射时，R、G、B 三种颜色分量都为 0 时，物体呈现黑色；当 R、G、B 三种颜色分量达到最大时，物体不吸收光线只反射的情况下，物体呈现白色。我们称黑色为最暗，白色为最亮，要达到最亮状态，需要三色分量最大程度混合，因此称为加色。

加色法用于自发光物体。RGB 颜色空间主要应用于计算机显示器、电视机、舞台灯光等，都具有发光特性。彩色像素在显示器屏幕上不会重叠，但足够的距离时，光线从像素扩散到视网膜上会重叠，人眼会感觉到重叠后的颜色效果。

减色法是利用颜料吸色特性，每加一种颜色的颜料，会吸收掉对应的补色成分。CMYK 色彩空间采用减色法。例如，我们在白纸(白光照射、不吸收、全反射)上涂颜料，黄色颜料能吸收蓝色(黄色的补色)，因此在白光照射下显示黄色，当黄(Y)、青(C)、品红(M)三色混在一起且颜色分量都为最大时，它们的补色成分被吸收掉，变成了黑色；当三色分量为 0 即什么也不涂时，白纸显现白色。要达到最大亮度，需要三色分量完全消失，因此称为减色。

印刷时，无法达到理想程度，C、M、Y 最大程度混合后无法得到纯黑色，只能得到深灰色，因此在 C、M、Y 三色之外引入了 K(黑色)。

[12]

减色法用于无法发光的物体。CMYK 颜色空间主要应用于印刷、绘画、布料染色等。

RGB 色彩空间中每个像素点包含了 R、G、B 三种分量。RGB 存储模式也有 packed 和 planar 两类，这两种模式的区分在第 3 节中讲述。RGB 色彩空间及存储模式比较简单，我们挑几个有代表性的存储模式来简述一下：

2.1 存储模式 RGB565

使用 16b(bit)表示一个像素，5b 用于 R，6b 用于 G，5b 用于 B。如下：

[ R G B ]  [ R G B ]  [ R G B ]  [ R G B ]
[ R G B ]  [ R G B ]  [ R G B ]  [ R G B ]

以上只是示意图，实际 R、G、B 顺序可能与图中不同。

2.2 存储模式 RGB888

使用 24 位来表示一个像素，每个分量都用 8 位表示。其示意图跟 RGB565 示意图类似。

2.3 存储模式 ARGB8888

使用 32 位来表示一个像素，R、G、B 都用 8 位表示，另外 A(Alpha)表示透明度，也用 8 位表示。

[ A R G B ]  [ A R G B ]  [ A R G B ]  [ A R G B ]
[ A R G B ]  [ A R G B ]  [ A R G B ]  [ A R G B ]

以上只是示意图，实际 A、R、G、B 顺序可能与图中不同。

3. YUV 色彩空间

YUV 颜色空间是 PAL、NTSC、SCEAM 三大视频标准使用的颜色空间，主要应用于视频系统。YUV 色彩空间中，Y 表示亮度信息，U 和 V 表示色度(色调和饱和度)信息。使用 YUV 色彩空间，后期出现的彩色电视系统和早期的黑白电视系统兼容，黑白电视机可以只处理彩色电信信号中的 Y 分量，而彩色电视机接收黑白电视信号显示也没有任何问题。

YUV 颜色空间和 RGB 颜色空间可以根据公式相互转换。

经常提到的还有 YPbPr 和 YCbCr。YPbPr 指模拟分量信号(或接口)，P(Parallel)表示并行，b 下标表示蓝，r 下标表示红。YCbCr 指的是数字分量信号(或接口)，C(Chroma)表示色度。YCbCr 还可指色彩空间，YCbCr 色彩空间是 YUV 色彩空间的缩放和偏移版本。

YUV, YCbCr, YPbPr 所指涉的范围，常有混淆或重叠的情况。从历史的演变来说，其中 YUV 和 Y'UV 通常用来编码电视的模拟信号，而 YCbCr 则是用来描述数字的视频信号，适合影片与图片压缩以及传输，例如 MPEG、JPEG。 但在现今，YUV 通常已经在计算机系统上广泛使用。[14]

3.1 YUV 采样方式与存储模式

人眼有一个特性：对亮度更敏感，对色度没有那么敏感。因此压缩色度分量可以降低数据量，但并不会人眼主观感觉造成太大影响。这是 YUV 采样的理论基础。主流的采样方式有三种，YUV4:4:4，YUV4:2:2，YUV4:2:0。这些采样方式，不压缩 Y 分量，对 UV 分量的压缩程度不同。

同一种采样方式，数据在内存中可以有不同的排布方式。YUV 数据在内存中的排布方式称作 YUV 存储模式。YUV 存储模式分成三大类：

packed：将 Y、U、V 分量交织存放在一起，和 RGB 的存放方式类似。内存中排列形式类似：YVYUYVYUYVYUYVYU...。在具体的存储模式命名中，packed 格式不带后缀 P。

planar：将 Y、U、V 的三个分量分别存放在不同的矩阵(平面)中。内存中排列形式类似：YYYYYY...，UUUUUU...，VVVVVV...。在具体的存储模式命名中，planar 格式带后缀 P。

semi-planar：将 Y、U、V 三个分量放在两个矩阵(平面)中。Y 占用一个平面，UV 共用一个平面。内存中排列形式类似：YYYYYY...，UVUVUV...。在具体的存储模式命名中，semi-planar 格式带后缀 SP。

注意：packed 格式通常用于只含水平采样的采样方式。packed 格式不能处理垂直采样，否则会导致不同的行尺寸不一。

YUV 图像存储模式与采样方式密切相关。一种采样模式下有多种不同的存储模式。

存储模式是一种较粗粒度的划分方式，主要依据不同分量在不同 plane 中的排列顺序来划分存储模式，一种存储模式定义了各分量样本在内存中的布局方式，而更一步的细节并不明确。像素格式则是细粒度的划分方式，一种像素格式中图像数据的内存组织方式的所有细节都是确定的，像素格式在第 4 节讲解。

3.2 采样方式的命名含义

本节内容整理自参考资料[2]。

为方便描述，我们将一个 Y 值称作一个亮度样本。一对 Cb+Cr 值称作一个色度样本。因为采样方式中只对色度进行下采样，不对亮度进行下采样，所以在一幅图像中，亮度样本数等于图像像素总数。

3.2.1 J????️b 命名法

采样方式采用的是 J????️b 命名形式。这个比例指的是在水平方向上的相对采样率，注意此形式的命名中并没有体现垂直方向的采样率。J????️b 表示，一幅图像中总像素数目(奇数行+偶数行的总像素数，也等于总亮度样本数)：奇数行中的色度样本数：偶数行中的色度样本数。按照惯例，J 通常都是 4。

以上图来理解，图中 a 部分，一个细线方框表示一个图像像素，一个粗线方框表示一个色度样本(即一对 Cb、Cr)。可以看到 YUV4:4:4 中，一个图像像素对应一个色度样本，而 YUV4:4:0 和 YUV4:2:2 则是两个图像像素对应一个色度样本，YUV4:2:0 和 YUV4:1:1 是四个图像像素对应一个色度样本，YUV4:1:0 是 8 个图像像素对应一个色度样本。这幅图看起来非常直观，一眼能看出一幅图像中大概多少个像素采样出一个色度样本。

图中 b 部分则详解了各种采样方式的命名含义。J????️b 命名形式中，引入了图像参考块的概念，参考块是 J 个像素宽(J 实际是 4)2 个像素高的一个图像块，那么 J????️b 的含义就是，J 个像素宽的参考块中，第一行中有 a 个色度样本，第二行中有 b 个色度样本。此处由参考块解释的 J????️b 的含义，与前文提到的 J????️b 表示图像总像素数目:奇数行中的色度样本数:偶数行中的色度样本数，实际含义是一致的。

3.2.2 h/v 命名法

其实，采样方式可以由两个简单含义的数字描述：水平和垂直采样因子。水平采样因子表示在水平方向每多少个像素采样出一个色度样本，垂直采样因子表示在垂直方向每多少个像素采样出一个色度样本。这种方式可以称作 h/v 命名形式。

J????️b 的命名形式很容易让人迷惑，实际上很多文章中关于采样方式的介绍要么是错的，要么含混不清，让人无法明白 J????️b 中三个数字的含义。而 h/v 的命名形式实际更容易理解。但遗憾的是，现实中广泛使用的是 J????️b 命名法，而未采用 h/v 命名法。

J????️b 命名中，并没有体现出垂直方向采样率相关的信息。但是我们可以列出每一种采样方式的 J????️b 命名形式以及 h/v 命名形式，这样可以很方便地得到此采样方式的水平采样率和垂直采样率，这更便于理解。如下表：

3.3 采样方式 YUV4:4:4

参考图４和表１可知，YUV4:4:4 采样方式中，水平方向，每 1 个像素采样出 1 个色度样本；垂直方向，每 1 个像素采样出 1 个色度样本。以４x4 像素点阵为例，每一个像素都有独立的ＵＶ分量可供使用。如下(每个[]为一个像素点)：

[ Y U V ]  [ Y U V ]  [ Y U V ]  [ Y U V ]
[ Y U V ]  [ Y U V ]  [ Y U V ]  [ Y U V ]
[ Y U V ]  [ Y U V ]  [ Y U V ]  [ Y U V ]
[ Y U V ]  [ Y U V ]  [ Y U V ]  [ Y U V ]

在这种采样方式下，一个像素点包含的完整的亮度信息和色度信息。

3.4 采样方式 YUV4:2:2

参考图４和表１可知，YUV4:2:2 采样方式中，水平方向，每 2 个像素采样出 1 个色度样本；垂直方向，每 1 个像素采样出 1 个色度样本。

以下图４x4 像素点阵为例进行说明。每 2 个像素共用 1 组 UV 分量。

[ Y U ]  [ Y V ]  [ Y U ]  [ Y V ]
[ Y V ]  [ Y U ]  [ Y V ]  [ Y U ]
[ Y U ]  [ Y V ]  [ Y U ]  [ Y V ]
[ Y V ]  [ Y U ]  [ Y V ]  [ Y U ]

若位深是 8，平均算来，一个像素占用的数据宽度为 16b，其中 Y 占 8b，U 占 4b，V 占 4b。后面存储模式命名中的数字 16 指的就是 16b。

在这种采样方式下，一个像素点里含的数据是不完整的，还原出一个像素点，需要相邻的两个像素点数据，如下：

[ Y U ]  [ Y V ]

在同一采样模式下，根据分量元素排列顺序的不同，又分为不同的存储模式：

3.4.1 packed 存储模式 YUYV 和 UYVY

YUYV(YUY2) 模式：

[ Y U ]  [ Y V ]  [ Y U ]  [ Y V ]
[ Y V ]  [ Y U ]  [ Y V ]  [ Y U ]
[ Y U ]  [ Y V ]  [ Y U ]  [ Y V ]
[ Y V ]  [ Y U ]  [ Y V ]  [ Y U ]

UYVY 存储模式：

[ U Y ]  [ V Y ]  [ U Y ]  [ V Y ]
[ U Y ]  [ V Y ]  [ U Y ]  [ V Y ]
[ U Y ]  [ V Y ]  [ U Y ]  [ V Y ]
[ U Y ]  [ V Y ]  [ U Y ]  [ V Y ]

3.4.2 planar 存储模式 YUV422P

YU16：

Y Y Y Y
Y Y Y Y
Y Y Y Y
Y Y Y Y
-------
U U U U
U U U U
-------
V V V V
V V V V

YV16：

Y Y Y Y
Y Y Y Y
Y Y Y Y
Y Y Y Y
-------
V V V V
V V V V
-------
U U U U
U U U U

3.4.3 semi-planar 存储模式 YUV422SP

NV16：

Y Y Y Y
Y Y Y Y
Y Y Y Y
Y Y Y Y
-------
U V U V
U V U V
U V U V
U V U V

NV61：

Y Y Y Y
Y Y Y Y
Y Y Y Y
Y Y Y Y
-------
V U V U
V U V U
V U V U
V U V U

3.5 采样方式 YUV4:2:0

参考图４和表１可知，YUV4:2:0 采样方式中，水平方向，每 2 个像素采样出 1 个色度样本；垂直方向，每 2 个像素采样出 1 个色度样本。

每 4 个像素共用 1 组 UV 分量。若位深是 8，平均算来，一个像素占用的数据宽度为 12b，其中 Y 占 8b，U 占 2b，V 占 2b。后面存储模式命名中的数字 12 指的就是 12b。

[ Y U ]  [ Y ]  [ Y U ]  [ Y ]
[ Y V ]  [ Y ]  [ Y V ]  [ Y ]
[ Y U ]  [ Y ]  [ Y U ]  [ Y ]
[ Y V ]  [ Y ]  [ Y V ]  [ Y ]