跳到主要内容

数字图像基础:从光子到像素

数字图像是有限元素组成的二维阵列,每个元素叫像素,有位置 (x,y)(x,y) 和幅度 f(x,y)f(x,y)。就这么简单一句话,但每个字都有讲究:为什么是有限的?为什么是二维的?ff 到底代表什么物理量?回答这些问题就是这一章的目标。

后面所有章节——空间滤波、频率域、分割——都是建立在这个基础模型上的邻域运算。这一章是所有算法的地基。

1. 视觉感知:图像最终是给人看的​

数字图像处理的目标很多时候不是让机器理解,而是让人看得舒服。所以起点是人眼——如果我们做的处理超出了人眼的分辨能力,就是浪费;如果没到人眼的敏感区间,就是无效。

1.1 人眼的结构​

光线依次穿过:角膜(固定折射)→ 虹膜(调光圈)→ 晶状体(对焦,靠睫状肌拉扯)→ 玻璃体 → 视网膜。视网膜上有两种感光细胞:

  • 视锥细胞(Cones):约 600-700 万,集中在中央凹(fovea)附近,负责彩色和精细视觉,需要较强光照
  • 视杆细胞(Rods):约 7500 万-1.5 亿,分布在视网膜周边,负责暗视觉,只感受亮度不感受颜色

一个直接推论:夜里看东西用余光比直视更清楚——余光对准的是视杆密集区。天文观测家都懂这个技巧。

三种视锥(L, M, S)对不同波长敏感,这是 彩色图像处理 里三色学说的生理基础。

1.2 亮度感知不是线性的​

韦伯-费赫涅尔定律:主观感觉的亮度增量与刺激强度的对数成正比:

ΔS=klog⁡I+ΔII\Delta S = k\log\frac{I+\Delta I}{I}

意思是:同样的亮度变化在暗处更明显,在亮处更不明显。10 到 20 尼特的变化你能察觉,1000 到 1010 的变化你察觉不到。

这条定律直接决定了几件事:

  • 伽马编码:图像文件里存的不是线性亮度,而是 y=x1/2.2y=x^{1/2.2} 后的数值——把重要的暗部分配更多 bit
  • JPEG 量化表:低频(大面积亮度)保留更多,高频(细节)扔掉更多
  • 对数变换在增强中的地位(见灰度变换章)

1.3 亮度适应和鉴别​

人眼的整体亮度范围极大,从 10−610^{-6} 尼特(星光)到 10410^4 尼特(正午雪地),跨越 10 个数量级。但任一瞬间只能在小范围内鉴别——大约 2 个数量级。

这就是亮度适应级(Brightness Adaptation Level):视觉系统会根据当前场景平均亮度调整敏感度。进电影院一瞬间看不清(暗适应慢,约 30 分钟完全适应),从电影院出来又刺眼(亮适应快,约 1 分钟)。

韦伯比 ΔIc/I\Delta I_c/I:能被察觉的最小亮度差异与背景亮度的比值。ΔIc/I≈0.02\Delta I_c/I\approx 0.02 是典型值——2% 亮度差是察觉阈值。工程上把动态范围划分成 log⁡0.98\log_{0.98} 个可分辨级——大约 300+ 级——但显示器 8 bit 只能给 256 级,其实是够用的。

1.4 视觉错觉:两个必须知道的​

马赫带(Mach Bands):不同灰度的条带交界处会看到"虚假的边界增强"——亮的一侧更亮、暗的一侧更暗。这不是图像里真的有,是视网膜的侧向抑制制造出来的。人眼天生有"锐化滤镜"。

同时对比效应(Simultaneous Contrast):同样的灰色方块,放在黑背景上比放在白背景上看着更亮。感知亮度依赖上下文。

对图像处理的启示:评价一个算法不能只看数值——PSNR/MSE 是像素级的物理量,但人眼看到的是经过侧抑制、上下文校正后的东西。所以后来有了 SSIM、LPIPS 这些贴近感知的指标。

2. 光和电磁波谱​

任何有能量的物体都释放电磁波。可见光只是电磁波谱中一小段(约 380-780 nm)。

电磁波三种描述方式:波长 λ\lambda、频率 ν\nu、能量 EE:

λ=cν,E=hν\lambda=\frac{c}{\nu},\quad E=h\nu

cc 是光速,hh 是普朗克常数。高频光子能量大——所以 X 光能穿透(也能致癌),无线电波穿不透但也不伤人。

成像不局限于可见光。医学 X 光、红外热像、微波雷达、紫外荧光——每一种波段都是一种成像模态,处理原理都能用 DIP 这套框架。

彩色光源三个物理量:

  • 发光强度(Radiance):光源辐射的总能量,物理量
  • 光通量(Luminous Flux):加了人眼视敏函数加权后的能量,感知量
  • 亮度(Brightness):光感知的主观描述,不能物理度量

3. 图像形成模型​

用二维函数 f(x,y)f(x,y) 表示图像。物理约束:图像由光反射/透射形成,所以

0<f(x,y)<∞0<f(x,y)<\infty

严格正、有限。ff 可以分解为两个独立分量:

f(x,y)=i(x,y)⋅r(x,y)f(x,y)=i(x,y)\cdot r(x,y)
  • i(x,y)i(x,y):照度分量——入射光的强度。0<i<∞0<i<\infty
  • r(x,y)r(x,y):反射分量——物体表面的反射率。0≤r≤10\leq r\leq 1(0 全吸收,1 全反射)

这个分解是很多算法的基础。同态滤波、Retinex 都是通过取对数把乘法变成加法,然后用高通滤波压掉 ii、保留 rr,实现光照不变的图像增强。

4. 采样和量化:从连续到离散​

真实世界是连续的,数字图像是离散的。两次离散化:

  • 采样:空间坐标 (x,y)(x,y) 的离散化
  • 量化:幅度 ff 的离散化

4.1 采样​

传感器上的像素是积分而不是"点采样"——每个像素记录一小块面积上光强的积分。这天然是低通滤波,缓解了走样(aliasing)。

采样率不够会产生走样——细密的条纹会看成粗的假条纹。Shannon 采样定理:采样率必须至少是信号最高频率的两倍。做不到的话要先低通滤波("抗混叠滤波器"),把高频砍掉再采样,宁可损失细节也不要假纹。

数字相机在传感器前放光学低通滤波器(OLPF)就是干这个的。近年高端相机开始去掉 OLPF 换取锐度,代价是拍格子布/纺织品时容易出现摩尔纹。

4.2 量化​

把连续灰度值 ff 量化成有限级别。kk bit 量化 = 2k2^k 级。

  • 1 bit:二值图(传真)
  • 8 bit:普通图片(256 级灰度)
  • 10-12 bit:RAW 摄影
  • 14-16 bit:医学、天文、高端相机
  • 32 bit float:HDR

量化 bit 数不够会产生假轮廓(false contour)——渐变区域出现台阶。渐变天空拍出来一圈圈条纹就是这个原因。抖动(dithering) 通过加噪声打散量化边界,能缓解假轮廓。

4.3 空间分辨率和灰度分辨率​

空间分辨率:每单位距离的像素数。dpi(打印)、ppi(显示)都是这个概念。

灰度分辨率:可辨别的最小灰度差。理论上 = 量化 bit 数,实际受人眼韦伯比限制在约 8 bit 有效。

一个经验教训:降低灰度分辨率比降低空间分辨率对图像可辨识度伤害更大。1024×1024 的 4 级灰度看着像素描画,256×256 的 256 级灰度还能看出细节。

4.4 内插​

图像放大、旋转、几何校正都需要在非整数坐标处取值。四种常见内插:

方法复杂度特点
最近邻O(1)O(1)最快,锯齿明显
双线性O(4)O(4)光滑,略糊
双三次O(16)O(16)锐利,标准
LanczosO(k2)O(k^2)最好,最贵

Photoshop 默认双三次,OpenCV 默认双线性,深度学习里 F.interpolate 支持全部。

5. 像素之间的关系​

5.1 邻域​

  • 4-邻域 N4(p)N_4(p):上下左右 4 个
  • 对角邻域 ND(p)N_D(p):4 个对角像素
  • 8-邻域 N8(p)N_8(p):N4∪NDN_4\cup N_D,共 8 个

5.2 邻接性​

给定相似集 VV(比如"灰度值在 [100, 200] 的像素"),两个像素邻接的条件是:

  • 4-邻接:q∈N4(p)q\in N_4(p) 且 p,qp, q 都在 VV 中
  • 8-邻接:q∈N8(p)q\in N_8(p) 且都在 VV 中
  • m-邻接(混合):为了避免 8-邻接的路径歧义而引入。规则:q∈N4(p)q\in N_4(p),或(q∈ND(p)q\in N_D(p) 且 N4(p)∩N4(q)∩V=∅N_4(p)\cap N_4(q)\cap V=\varnothing)

m-邻接的意义:8-邻接下一条对角路径可能有多种"走法",m-邻接把这些走法归一。做连通分量分析、边界追踪时至关重要。

5.3 通路和连通​

从 pp 到 qq 的通路是一串像素 p=p0,p1,…,pn=qp=p_0, p_1, \ldots, p_n=q,相邻两个满足邻接关系。如果所有中间点都在集合 SS 内,pp 和 qq 在 SS 内连通。

连通分量:一组两两连通的像素集合。这是 图像分割 里最基础的构建块。

5.4 距离度量​

三种常用距离:

  • 欧氏 De=(x−s)2+(y−t)2D_e=\sqrt{(x-s)^2+(y-t)^2},等距点是圆
  • 城市街区 D4=∣x−s∣+∣y−t∣D_4=|x-s|+|y-t|,等距点是菱形
  • 棋盘 D8=max⁡(∣x−s∣,∣y−t∣)D_8=\max(|x-s|, |y-t|),等距点是方形

都满足距离公理(非负、对称、三角不等式)。选谁看应用——欧氏最精确但要开方,D4/D8D_4/D_8 只用加减,快得多。

6. DIP 的数学工具箱​

6.1 阵列 vs 矩阵​

图像是二维阵列。阵列操作是逐像素的(C=A⋅BC=A\cdot B 表示 cij=aij⋅bijc_{ij}=a_{ij}\cdot b_{ij});矩阵操作是矩阵乘法(C=A⋅BC=A\cdot B 表示 cij=∑kaikbkjc_{ij}=\sum_k a_{ik}b_{kj})。DIP 里绝大多数运算是阵列运算。

6.2 线性 vs 非线性​

线性操作 HH 满足:

H(af1+bf2)=aH(f1)+bH(f2)H(af_1+bf_2)=aH(f_1)+bH(f_2)

均值滤波、Fourier 变换、拉普拉斯都是线性。中值滤波、形态学、直方图均衡都是非线性。

线性操作的好处:叠加原理成立,能用矩阵/卷积统一处理,能用 Fourier 分析。非线性操作更强大但没有通用理论。深度学习靠非线性激活才能拟合复杂映射。

6.3 算术、集合、逻辑操作​

  • 加:噪声平均(多帧平均去噪)
  • 减:背景差分(运动检测)
  • 乘:mask 应用
  • 除:光照归一化

加权平均去噪:g=1N∑i=1Nfig=\frac{1}{N}\sum_{i=1}^N f_i。若 fi=f+nif_i=f+n_i,nin_i 是均值为零的独立噪声,g→fg\to f,方差降为 σ2/N\sigma^2/N。天文长曝光、医学多帧成像都用这个。

集合操作(并、交、补)主要用于二值图像和 形态学。

逻辑操作(AND, OR, NOT, XOR)用于 mask 组合。XOR 常用来做"变化检测"——两幅图 XOR 后非零处就是变化点。

6.4 空间操作​

  • 单像素操作:s=T(r)s=T(r)
  • 邻域操作:g(x,y)=T[N(x,y)]g(x,y)=T[N(x,y)],卷积、形态学都属于这一类
  • 几何变换:(x,y)→(x′,y′)(x,y)\to (x',y'),仿射、透视等

6.5 向量与矩阵操作​

彩色图像的每个像素是三维向量,操作变成向量化。主成分分析(PCA)在多光谱图像上做维度约减:找出方差最大的方向作为主分量。遥感、多光谱医学成像里很常见。

7. 一些概念的边界​

  • 图像 vs 视频:视频是图像的时间序列。多加一个时间维,很多操作可以从空间推广到时空
  • 2D vs 3D 图像:MRI、CT 是三维体数据,每个"像素"是体素(voxel)。所有 2D 算法都可以推广到 3D,但计算量按立方增长
  • 灰度 vs 彩色 vs 多光谱:通道数不同但基本框架不变。多光谱(>3>3 通道)常见于遥感(Landsat 有 11 个波段)、医学(多序列 MRI)
  • 有序 vs 无序像素:图像是规则网格,点云是无序 3D 点集。DIP 的邻域算法在点云上要重新定义(KNN 邻域)

8. 这一章之后的图景​

理解了图像的形成、感知、表示、离散化以后,后面所有章节都在做同一件事:在这个 M×NM\times N 的数字阵列上定义有意义的操作。

每一章解决 DIP 流水线里的一个环节。真实系统总是把它们拼在一起——医学 CT 里 复原 + 分割 + 描述子 一整套;相机里 demosaic + 降噪 + 色调映射 + 压缩 一条链。没有一个算法能单打独斗——DIP 是一门系统工程。