数字图像基础:从光子到像素
数字图像是有限元素组成的二维阵列,每个元素叫像素,有位置 和幅度 。就这么简单一句话,但每个字都有讲究:为什么是有限的?为什么是二维的? 到底代表什么物理量?回答这些问题就是这一章的目标。
后面所有章节——空间滤波、频率域、分割——都是建立在这个基础模型上的邻域运算。这一章是所有算法的地基。
1. 视觉感知:图像最终是给人看的
数字图像处理的目标很多时候不是让机器理解,而是让人看得舒服。所以起点是人眼——如果我们做的处理超出了人眼的分辨能力,就是浪费;如果没到人眼的敏感区间,就是无效。
1.1 人眼的结构
光线依次穿过:角膜(固定折射)→ 虹膜(调光圈)→ 晶状体(对焦,靠睫状肌拉扯)→ 玻璃体 → 视网膜。视网膜上有两种感光细胞:
- 视锥细胞(Cones):约 600-700 万,集中在中央凹(fovea)附近,负责彩色和精细视觉,需要较强光照
- 视杆细胞(Rods):约 7500 万-1.5 亿,分布在视网膜周边,负责暗视觉,只感受亮度不感受颜色
一个直接推论:夜里看东西用余光比直视更清楚——余光对准的是视杆密集区。天文观测家都懂这个技巧。
三种视锥(L, M, S)对不同波长敏感,这是 彩色图像处理 里三色学说的生理基础。
1.2 亮度感知不是线性的
韦伯-费赫涅尔定律:主观感觉的亮度增量与刺激强度的对数成正比:
意思是:同样的亮度变化在暗处更明显,在亮处更不明显。10 到 20 尼特的变化你能察觉,1000 到 1010 的变化你察觉不到。
这条定律直接决定了几件事:
- 伽马编码:图像文件里存的不是线性亮度,而是 后的数值——把重要的暗部分配更多 bit
- JPEG 量化表:低频(大面积亮度)保留更多,高频(细节)扔掉更多
- 对数变换在增强中的地位(见灰度变换章)
1.3 亮度适应和鉴别
人眼的整体亮度范围极大,从 尼特(星光)到 尼特(正午雪地),跨越 10 个数量级。但任一瞬间只能在小范围内鉴别——大约 2 个数量级。
这就是亮度适应级(Brightness Adaptation Level):视觉系统会根据当前场景平均亮度调整敏感度。进电影院一瞬间看不清(暗适应慢,约 30 分钟完全适应),从电影院出来又刺眼(亮适应快,约 1 分钟)。
韦伯比 :能被察觉的最小亮度差异与背景亮度的比值。 是典型值——2% 亮度差是察觉阈值。工程上把动态范围划分成 个可分辨级——大约 300+ 级——但显示器 8 bit 只能给 256 级,其实是够用的。
1.4 视觉错觉:两个必须知道的
马赫带(Mach Bands):不同灰度的条带交界处会看到"虚假的边界增强"——亮的一侧更亮、暗的一侧更暗。这不是图像里真的有,是视网膜的侧向抑制制造出来的。人眼天生有"锐化滤镜"。
同时对比效应(Simultaneous Contrast):同样的灰色方块,放在黑背景上比放在白背景上看着更亮。感知亮度依赖上下文。
对图像处理的启示:评价一个算法不能只看数值——PSNR/MSE 是像素级的物理量,但人眼看到的是经过侧抑制、上下文校正后的东西。所以后来有了 SSIM、LPIPS 这些贴近感知的指标。
2. 光和电磁波谱
任何有能量的物体都释放电磁波。可见光只是电磁波谱中一小段(约 380-780 nm)。
电磁波三种描述方式:波长 、频率 、能量 :
是光速, 是普朗克常数。高频光子能量大——所以 X 光能穿透(也能致癌),无线电波穿不透但也不伤人。
成像不局限于可见光。医学 X 光、红外热像、微波雷达、紫外荧光——每一种波段都是一种成像模态,处理原理都能用 DIP 这套框架。
彩色光源三个物理量:
- 发光强度(Radiance):光源辐射的总能量,物理量
- 光通量(Luminous Flux):加了人眼视敏函数加权后的能量,感知量
- 亮度(Brightness):光感知的主观描述,不能物理度量
3. 图像形成模型
用二维函数 表示图像。物理约束:图像由光反射/透射形成,所以
严格正、有限。 可以分解为两个独立分量:
- :照度分量——入射光的强度。
- :反射分量——物体表面的反射率。(0 全吸收,1 全反射)
这个分解是很多算法的基础。同态滤波、Retinex 都是通过取对数把乘法变成加法,然后用高通滤波压掉 、保留 ,实现光照不变的图像增强。
4. 采样和量化:从连续到离散
真实世界是连续的,数字图像是离散的。两次离散化:
- 采样:空间坐标 的离散化
- 量化:幅度 的离散化
4.1 采样
传感器上的像素是积分而不是"点采样"——每个像素记录一小块面积上光强的积分。这天然是低通滤波,缓解了走样(aliasing)。
采样率不够会产生走样——细密的条纹会看成粗的假条纹。Shannon 采样定理:采样率必须至少是信号最高频率的两倍。做不到的话要先低通滤波("抗混叠滤波器"),把高频砍掉再采样,宁可损失细节也不要假纹。
数字相机在传感器前放光学低通滤波器(OLPF)就是干这个的。近年高端相机开始去掉 OLPF 换取锐度,代价是拍格子布/纺织品时容易出现摩尔纹。
4.2 量化
把连续灰度值 量化成有限级别。 bit 量化 = 级。
- 1 bit:二值图(传真)
- 8 bit:普通图片(256 级灰度)
- 10-12 bit:RAW 摄影
- 14-16 bit:医学、天文、高端相机
- 32 bit float:HDR
量化 bit 数不够会产生假轮廓(false contour)——渐变区域出现台阶。渐变天空拍出来一圈圈条纹就是这个原因。抖动(dithering) 通过加噪声打散量化边界,能缓解假轮廓。
4.3 空间分辨率和灰度分辨率
空间分辨率:每单位距离的像素数。dpi(打印)、ppi(显示)都是这个概念。
灰度分辨率:可辨别的最小灰度差。理论上 = 量化 bit 数,实际受人眼韦伯比限制在约 8 bit 有效。
一个经验教训:降低灰度分辨率比降低空间分辨率对图像可辨识度伤害更大。1024×1024 的 4 级灰度看着像素描画,256×256 的 256 级灰度还能看出细节。
4.4 内插
图像放大、旋转、几何校正都需要在非整数坐标处取值。四种常见内插:
| 方法 | 复杂度 | 特点 |
|---|---|---|
| 最近邻 | 最快,锯齿明显 | |
| 双线性 | 光滑,略糊 | |
| 双三次 | 锐利,标准 | |
| Lanczos | 最好,最贵 |
Photoshop 默认双三次,OpenCV 默认双线性,深度学习里 F.interpolate 支持全部。
5. 像素之间的关系
5.1 邻域
- 4-邻域 :上下左右 4 个
- 对角邻域 :4 个对角像素
- 8-邻域 :,共 8 个
5.2 邻接性
给定相似集 (比如"灰度值在 [100, 200] 的像素"),两个像素邻接的条件是:
- 4-邻接: 且 都在 中
- 8-邻接: 且都在 中
- m-邻接(混合):为了避免 8-邻接的路径歧义而引入。规则:,或( 且 )
m-邻接的意义:8-邻接下一条对角路径可能有多种"走法",m-邻接把这些走法归一。做连通分量分析、边界追踪时至关重要。
5.3 通路和连通
从 到 的通路是一串像素 ,相邻两个满足邻接关系。如果所有中间点都在集合 内, 和 在 内连通。
连通分量:一组两两连通的像素集合。这是 图像分割 里最基础的 构建块。
5.4 距离度量
三种常用距离:
- 欧氏 ,等距点是圆
- 城市街区 ,等距点是菱形
- 棋盘 ,等距点是方形
都满足距离公理(非负、对称、三角不等式)。选谁看应用——欧氏最精确但要开方, 只用加减,快得多。
6. DIP 的数学工具箱
6.1 阵列 vs 矩阵
图像是二维阵列。阵列操作是逐像素的( 表示 );矩阵操作是矩阵乘法( 表示 )。DIP 里绝大多数运算是阵列运算。
6.2 线性 vs 非线性
线性操作 满足:
均值滤波、Fourier 变换、拉普拉斯都是线性。中值滤波、形态学、直方图均衡都是非线性。
线性操作的好处:叠加原理成立,能用矩阵/卷积统一处理,能用 Fourier 分析。非线性操作更强大但没有通用理论。深度学习靠非线性激活才能拟合复杂映射。
6.3 算术、集合、逻辑操作
- 加:噪声平均(多帧平均去噪)
- 减:背景差分(运动检测)
- 乘:mask 应用
- 除:光照归一化
加权平均去噪:。若 , 是均值为零的独立噪声,,方差降为 。天文长曝光、医学多帧成像都用这个。
集合操作(并、交、补)主要用于二值图像和 形态学。
逻辑操作(AND, OR, NOT, XOR)用于 mask 组合。XOR 常用来做"变化检测"——两幅图 XOR 后非零处就是变化点。
6.4 空间操作
- 单像素操作:
- 邻域操作:,卷积、形态学都属于这一类
- 几何变换:,仿射、透视等
6.5 向量与矩阵操作
彩色图像的每个像素是三维向量,操 作变成向量化。主成分分析(PCA)在多光谱图像上做维度约减:找出方差最大的方向作为主分量。遥感、多光谱医学成像里很常见。
7. 一些概念的边界
- 图像 vs 视频:视频是图像的时间序列。多加一个时间维,很多操作可以从空间推广到时空
- 2D vs 3D 图像:MRI、CT 是三维体数据,每个"像素"是体素(voxel)。所有 2D 算法都可以推广到 3D,但计算量按立方增长
- 灰度 vs 彩色 vs 多光谱:通道数不同但基本框架不变。多光谱( 通道)常见于遥感(Landsat 有 11 个波段)、医学(多序列 MRI)
- 有序 vs 无序像素:图像是规则网格,点云是无序 3D 点集。DIP 的邻域算法在点云上要重新定义(KNN 邻域)
8. 这一章之后的图景
理解了图像的形成、感知、表示、离散化以后,后面所有章节都在做同一件事:在这个 的数字阵列上定义有意义的操作。
每一章解决 DIP 流水线 里的一个环节。真实系统总是把它们拼在一起——医学 CT 里 复原 + 分割 + 描述子 一整套;相机里 demosaic + 降噪 + 色调映射 + 压缩 一条链。没有一个算法能单打独斗——DIP 是一门系统工程。