跳到主要内容

彩色图像处理:颜色不是三个通道那么简单

一句话概括这章:彩色图像不是"多一个维度"这么简单——颜色是感知问题,不是物理问题。同样的光谱,两个人看到的颜色可能不一样;同样的色感,可以由无数种光谱组合。整个彩色成像和处理领域,都是围绕"如何用有限的坐标近似人眼感知"这件事展开的。

1. 颜色从哪来​

物理上颜色是光的波长分布 C(λ)C(\lambda),理论上是无穷维。但人眼只有三种视锥细胞(L, M, S),分别对长/中/短波敏感。三种细胞对同一束光的响应是三个数:

RL=∫C(λ)L(λ)dλRM=∫C(λ)M(λ)dλRS=∫C(λ)S(λ)dλ\begin{aligned} R_L &= \int C(\lambda)L(\lambda)d\lambda\\ R_M &= \int C(\lambda)M(\lambda)d\lambda\\ R_S &= \int C(\lambda)S(\lambda)d\lambda \end{aligned}

这就是三色学说(Trichromatic Theory)。它意味着:

  • 颜色是三维的——只要给对三个数,光谱不一样也没差
  • 不同光谱可以同色(metamerism,同色异谱)——为什么屏幕上的 RGB 能骗过眼睛
  • 有些颜色屏幕显示不出来——真实光谱可以让 L, M, S 组合出任何比值,但物理 RGB 三原色的组合只能覆盖三角形内部

CIE 1931 用大量心理物理实验测出了标准观察者的匹配函数 xˉ(λ),yˉ(λ),zˉ(λ)\bar x(\lambda), \bar y(\lambda), \bar z(\lambda),定义了 XYZ 色空间。所有其他色空间都是从 XYZ 派生的。

2. 常见色彩空间​

色空间场景特点
RGB显示器、相机传感器加色,硬件天然
CMYK印刷减色,加黑通道省油墨
HSI / HSV图像分析、颜色选择分离色度和亮度
YCbCr视频编码(JPEG、MPEG)Y 保留细节,色度可低采样
CIE Lab色差测量、色彩校正感知均匀
CIE XYZ中间桥梁物理标准

选谁看用途。做压缩用 YCbCr(人眼对色度不敏感,Cb/Cr 可以下采样到 1/4 大小,一半带宽省掉)。做基于颜色的分割用 HSV("红色"在 HSV 里是一个 H 区间,在 RGB 里是三维空间里一个复杂的斜切面)。做印刷用 CMYK。

2.1 HSI 分离色度和亮度​

I=R+G+B3,S=1−3min⁡(R,G,B)R+G+BI=\frac{R+G+B}{3},\quad S=1-\frac{3\min(R,G,B)}{R+G+B}

HH 是角度,通过 R,G,BR, G, B 相对大小算。这个坐标下,灰度处理只操作 II 通道,HH 和 SS 保持不变——原始颜色不会漂。RGB 空间里对 R,G,BR, G, B 分别做直方图均衡会导致颜色偏移,而在 HSI 里对 II 均衡就干净得多。

2.2 CIE Lab​

LL 是亮度(0-100),aa 是红-绿轴,bb 是黄-蓝轴。感知均匀性意味着:Lab 空间里两点的欧氏距离 ΔE\Delta E 与人眼感知的色差成正比。ΔE<2\Delta E<2 一般人看不出差别,ΔE>5\Delta E>5 明显不同色。这是印刷、显示器校准、纺织行业的黄金标准。

3. 伪彩色处理:给灰度图上色​

医学 X 光、遥感高度图这些天然是单通道的。人眼分辨 20 级灰度已经吃力,分辨 100 种颜色轻松。伪彩色把标量映射成 RGB,展开信息。

灰度分层:给不同灰度区间分配不同颜色。等高线地图就是典型例子。

灰度到彩色变换:三条独立的映射函数 fR(g),fG(g),fB(g)f_R(g), f_G(g), f_B(g)。经典的"jet"色带(蓝→青→黄→红)就是三条正弦波错位叠加。

一个小争议:jet 是烂色带。它不是感知均匀的,视觉上"黄色最亮"会误导。matplotlib 后来把默认换成了 viridis——线性亮度递增、色盲友好。做数据可视化的人应该有这个共识。(参考dataviz技能里的调色板讨论。)

4. 全彩色图像处理:分开还是一起​

彩色处理有两种范式:

逐分量处理:把 RGB 三个通道当独立灰度图分别处理,然后合并。简单,但通道间不独立——分别做直方图均衡会破坏原本的色相。适合每个通道独立含义的场景(比如荧光显微镜三个染料)。

向量处理:把每个像素当作三维向量 c=[R,G,B]T\mathbf c=[R,G,B]^T。相似度、距离、梯度都是向量运算。中值滤波在向量域没有唯一定义——三维空间里"中位数"是个开放问题(向量中值滤波取"到其他点距离总和最小的点",是一个近似)。

一个具体例子——彩色边缘检测。逐分量做 Sobel 有三张梯度图,怎么合?直接求和会漏掉不同通道梯度方向相反抵消掉的边。Di Zenzo 张量法把三通道梯度组成 2×22\times 2 结构张量,最大特征值方向就是彩色梯度方向。这是"向量处理"比"逐分量处理"结果更对的典型例子。

5. 彩色分割​

分割任务见图像分割章。彩色场景下常见做法:

  • HSV 阈值:想找红色物体?H∈[0,15]∪[345,360]H \in [0, 15]\cup[345, 360],S>50S > 50,V>50V > 50。经典的"绿幕"就是 H≈120H\approx 120。
  • 色距阈值:∣∣c−c0∣∣<T||\mathbf c-\mathbf c_0||<T。c0\mathbf c_0 是目标颜色。距离度量选 Lab 空间的 ΔE\Delta E 最合理。
  • 聚类:K-means 在颜色空间聚类。GrabCut 用高斯混合模型建前景/背景色度分布。

现代方法(Mask R-CNN、SAM)根本不用手写颜色规则——CNN 直接学"红色物体"是什么。但传统方法在光照可控、类别固定的工业场景仍然有用(更快、无需训练数据)。

6. 彩色相机拿到的原始数据​

数码相机的 CCD/CMOS 传感器只有一个通道。要拿到彩色,在传感器上覆盖 Bayer 滤色阵列:

R G R G R G
G B G B G B
R G R G R G

每个像素只捕获一个颜色分量,另外两个靠**去马赛克(demosaicing)**从邻居内插。绿色格子占 50%(人眼对绿色敏感度最高,采样率高),红蓝各 25%。

朴素做法是双线性内插——快但会产生色彩伪影(zipper 效应,边缘处的红绿条纹)。AHD、DCB、AMaZE 这些高级算法用边缘方向自适应内插。RAW 处理管线里 demosaic 是第一步,做不好后续所有校正都白搭。

深度学习去马赛克(DemosaicNet、CycleISP)现在已经比经典算法效果好,尤其在低光和高 ISO 时。

7. 白平衡​

同样一张白纸,日光下反射短波多、白炽灯下反射长波多。相机拍出来分别偏蓝和偏红。白平衡要把它们都调回白色。

三种做法:

  • 灰世界假设:假设场景平均颜色是灰色。Ravg=Gavg=BavgR_{avg}=G_{avg}=B_{avg},把三通道拉到相等
  • 白点算法:找场景中最亮的点当"白",其他归一化到它
  • 色温模式:用户手动指定光源色温(3200K 白炽、5500K 日光、6500K 阴天)

Auto WB 一般是灰世界或白点的变种。深度学习白平衡(DeepWB)从图像内容推断光源色温,日趋标准。

8. Retinex 和色恒常性​

色恒常性是人眼的一个惊人能力:不管光源什么颜色,我们感知的物体颜色几乎不变。绿叶在早晨和中午看着都是绿的。Land 的 Retinex 理论认为大脑做了类似的"照度归一化"计算。

Retinex 算法:log⁡R=log⁡I−log⁡(I∗G)\log R=\log I-\log(I*G)。GG 是高斯核,I∗GI*G 估计的是照度分量,减掉之后剩反射分量。多尺度 Retinex(MSR)用多个高斯核平均,是暗光图像增强的经典算法。手机 HDR 里的"色调映射"很多都借鉴 Retinex 思路。

9. 色调映射:HDR 到 SDR​

现代相机 RAW 是 14-16 bit,显示器只能显示 8 bit。色调映射要把 2142^{14} 个亮度级压到 282^8,还要保住暗部和高光的细节。

全局映射:s=T(r)s=T(r),一条曲线定江山。快,但对极端 HDR 场景(同时有强光和阴影)压不动。

局部映射:TT 依赖于邻域。Reinhard 算子、Durand & Dorsey 的双边滤波色调映射、Fattal 的梯度域压缩,都是这个思路。

深度学习:HDRNet、AI HDR,学出内容自适应的映射曲线。手机 HDR+ 是产业标准。

10. 关于彩色的一点提醒​

  • 不要把 RGB 数字直接当颜色距离。(0,0,0)(0,0,0) 到 (1,1,1)(1,1,1) 的 RGB 距离和 (0.5,0,0)(0.5,0,0) 到 (0.5,1,0)(0.5,1,0) 的 RGB 距离感知上完全不一样
  • sRGB 是伽马编码的。做算术前先线性化(去伽马),做完再编码回去,否则平均颜色会偏
  • 色盲比例约 8% 男性。选调色板时避开红-绿二分(用蓝-黄或 viridis 更安全)