跳到主要内容

图像复原:把已经坏掉的图像救回来

图像增强和图像复原经常被混着讲,但目标不一样。增强关心视觉效果好不好——你觉得亮一点、清楚一点就够了,主观。复原关心还原真实——图像退化过程是已知(或可估计)的,我们要反演这个过程,客观。

一句话总结:增强靠猜,复原靠模型。

1. 退化模型​

线性、位置不变的退化模型:

g(x,y)=h(x,y)∗f(x,y)+η(x,y)g(x,y)=h(x,y)*f(x,y)+\eta(x,y)
  • f(x,y)f(x,y):真实图像(未知,要恢复的)
  • h(x,y)h(x,y):退化函数(PSF,点扩散函数)
  • η(x,y)\eta(x,y):加性噪声
  • g(x,y)g(x,y):观测到的退化图像

频率域下:

G(u,v)=H(u,v)F(u,v)+N(u,v)G(u,v)=H(u,v)F(u,v)+N(u,v)

看似只要 F=G/HF=G/H 就完事了。真做起来 HH 未必已知,NN 是随机的,HH 可能有零点导致除法爆炸——本章几乎所有工作都在处理这三个"如果"。

2. 噪声模型​

先看 η\eta,因为噪声的性质决定用什么滤波器。

高斯噪声:p(z)=1σ2πe−(z−μ)2/2σ2p(z)=\frac{1}{\sigma\sqrt{2\pi}}e^{-(z-\mu)^2/2\sigma^2}。电子学噪声(暗电流、放大器噪声)几乎都是高斯的。均值滤波、高斯低通对付它最有效。

瑞利噪声:单侧长尾,出现在极坐标下的雷达/超声成像。

伽马和指数噪声:激光成像典型分布。

均匀噪声:数字化误差,量化噪声。

椒盐(脉冲)噪声:0 或 255 的孤立点。CMOS 传感器坏点、传输误码。中值滤波是它的天敌。

周期噪声:正弦干扰。上一章的陷波滤波专门对付它。

怎么判断噪声类型?在图像平坦区域(比如天空、纯色背景)取一块 ROI,画直方图,形状告诉你分布类型。

3. 只有噪声(H=1H=1)时的空间滤波​

假设 H(u,v)=1H(u,v)=1,问题退化成去噪。上一章的均值、中值、高斯滤波都能用,但复原理论提供了更多工具:

几何均值滤波:g(x,y)=[∏(s,t)∈Sxyf(s,t)]1/mng(x,y)=\left[\prod_{(s,t)\in S_{xy}}f(s,t)\right]^{1/mn}。锐化能力比算术均值稍好。

谐波均值:对椒噪声(亮噪点)有效,但会放大盐噪声。

逆谐波均值:g(x,y)=∑f(s,t)Q+1∑f(s,t)Qg(x,y)=\frac{\sum f(s,t)^{Q+1}}{\sum f(s,t)^Q}。Q>0Q>0 处理椒噪声,Q<0Q<0 处理盐噪声,Q=0Q=0 是算术均值。QQ 符号选错会灾难性放大噪声。

自适应中值滤波:模板大小动态调整。中心像素既不是最大也不是最小时用原值,否则用中值。对高密度椒盐(>50%)比标准中值好得多。

自适应局部降噪:g(x,y)=f(x,y)−ση2σL2[f(x,y)−mˉL]g(x,y)=f(x,y)-\frac{\sigma_\eta^2}{\sigma_L^2}[f(x,y)-\bar m_L]。局部方差 σL2\sigma_L^2 大(边缘处)时接近原值,σL2\sigma_L^2 小(平坦区)时接近局部均值。等于自动切换平滑强度。

4. 只有周期噪声时的频率域滤波​

周期噪声在频谱上是几个孤立亮点。三种做法:

  • 带阻:环形挡掉某个半径的频率——不知道方向时用
  • 带通:环形只让某个半径通过——想看看噪声本身长什么样时用
  • 陷波:只挡指定 (uk,vk)(u_k,v_k)——最精确,最常用

最优陷波滤波:加一个自适应权重 w(x,y)w(x,y) 使得残差方差最小。这是 Wiener 思路的雏形。

5. 已知退化函数时的复原​

现在假设 HH 是已知的(后面会讲怎么估)。HH 从哪来?三种:

  • 模糊运动:曝光期间相机匀速运动,HH 是一个 sinc 函数
  • 散焦:镜头失焦,HH 是一个圆盘(bokeh 就是这个的美化版)
  • 大气湍流:H(u,v)=e−k(u2+v2)5/6H(u,v)=e^{-k(u^2+v^2)^{5/6}},kk 是湍流强度参数

5.1 逆滤波(Inverse Filtering)​

F^(u,v)=G(u,v)H(u,v)=F(u,v)+N(u,v)H(u,v)\hat F(u,v)=\frac{G(u,v)}{H(u,v)}=F(u,v)+\frac{N(u,v)}{H(u,v)}

想法直白:除掉退化。问题也直白:H(u,v)H(u,v) 在高频处很小甚至为零,N(u,v)N(u,v) 是噪声不衰减,比值 N/HN/H 会爆炸,把噪声放大到淹没信号。

工程上的救急方案:限制半径,只在 H(u,v)H(u,v) 不太小的频率上做除法,其他地方保持 GG 不变。这是"截断逆滤波"。

5.2 Wiener 滤波(最小均方误差)​

Wiener 从统计角度问:能不能找一个 H^\hat H,让 E{(f−f^)2}E\{(f-\hat f)^2\} 最小?答案:

H^(u,v)=[1H(u,v)⋅∣H(u,v)∣2∣H(u,v)∣2+Sη/Sf]\hat H(u,v)=\left[\frac{1}{H(u,v)}\cdot\frac{|H(u,v)|^2}{|H(u,v)|^2+S_\eta/S_f}\right]

SηS_\eta 是噪声功率谱,SfS_f 是原图功率谱。K=Sη/SfK=S_\eta/S_f 是噪声-信号比。

三种极端情况:

  • 无噪声(K=0K=0):H^=1/H\hat H=1/H,退化成逆滤波
  • ∣H∣|H| 大的频率:H^≈1/H\hat H\approx 1/H,正常还原
  • ∣H∣|H| 小的频率:H^→0\hat H\to 0,主动放弃这一频率,避免放大噪声

工程上 SηS_\eta 和 SfS_f 都不知道。实际用一个常数 KK 代替 Sη/SfS_\eta/S_f,手工调。KK 太小恢复得锐但噪声爆炸,太大恢复得糊但干净。

5.3 约束最小二乘​

Wiener 需要功率谱,约束最小二乘只需要噪声均值和方差:

F^(u,v)=[H∗(u,v)∣H(u,v)∣2+γ∣P(u,v)∣2]G(u,v)\hat F(u,v)=\left[\frac{H^*(u,v)}{|H(u,v)|^2+\gamma|P(u,v)|^2}\right]G(u,v)

PP 是拉普拉斯算子的 Fourier 变换。γ\gamma 通过让 ∣∣g−Hf^∣∣2≈∣∣η∣∣2||g-H\hat f||^2\approx ||\eta||^2 迭代求出。

这三种方法的关系:

方法假设参数什么时候用
逆滤波无噪声无几乎不用
Wiener已知功率谱比KK有噪声先验
约束最小二乘已知噪声方差γ\gamma只知道噪声强度

6. 未知退化函数:盲复原​

现实里 HH 通常不知道。盲反卷积同时估 ff 和 HH。经典做法是 Ayers-Dainty 迭代:

  1. 猜一个初始 h^\hat h
  2. 固定 h^\hat h,用 Wiener 求 f^\hat f
  3. 固定 f^\hat f,用 Wiener 求 h^\hat h
  4. 交替,直到收敛

问题是它数学上不适定——同一个 gg 可以由无穷多个 (f,h)(f, h) 对生成。需要加约束:hh 非负、hh 尺寸有限、ff 稀疏梯度(自然图像的先验)等。

深度学习时代的盲去模糊(如 DeblurGAN、Restormer)本质上是让神经网络学到自然图像的先验,替代了手工约束。ff 应该是"看起来像照片"这件事被神经网络的权重编码起来了。

7. 几何变换:另一种"退化"​

图像也可能因为几何变形而失真——透视扭曲、光学畸变、传感器排列不均匀。数学上这不是卷积,是坐标变换:

(x,y)→(x′,y′)=T(x,y)(x,y)\to(x',y')=T(x,y)

线性变换(平移、旋转、缩放、剪切)用 2×22\times 2 矩阵;含平移的仿射用 2×32\times 3 齐次矩阵;透视用 3×33\times 3。求 TT 的做法:找几对已知对应点,解方程组。

坐标变换后的重采样:新坐标不是整数网格,需要内插:

  • 最近邻:快,边缘锯齿
  • 双线性:O(4)O(4),光滑但略糊
  • 双三次:O(16)O(16),锐利,标准选择
  • Lanczos:sinc 加窗,最好也最贵

STN(Spatial Transformer Network)把这个过程搬进了神经网络——让网络自己学 TT 并用可微分的双线性采样反传梯度。

8. 图像重建:从投影到图像​

CT 扫描不是直接拍图像,是拍一堆一维投影,然后反算三维体积。这是复原的一个特殊分支。

Radon 变换:图像沿角度 θ\theta、距离 ρ\rho 做线积分。反变换是从所有 (θ,ρ)(\theta,\rho) 投影恢复原图像。

滤波反投影(FBP):先把每个投影做斜坡滤波(消除径向模糊),再反投影加回图像空间。医院 CT 主要用的就是 FBP。

迭代重建:ART/SART/OSEM,把重建当作优化问题。噪声少但慢。

深度学习重建:AUTOMAP、LEARN 等,从原始投影直接学到图像。剂量更低、速度更快,正在把 FBP 挤出临床。

9. 现代深度学习复原的位置​

传统复原假设线性模型 g=h∗f+ηg=h*f+\eta。深度学习完全跳过这个假设,直接学 g→fg\to f 的映射。SRCNN、DnCNN、Restormer、Diffusion Restoration 都是这个套路。

深度模型的优势:不需要显式建模退化,能同时处理多种退化。劣势:需要成对训练数据(真实退化图 + 干净原图),对训练分布外的退化容易失败。所以现在流行自监督(Noise2Noise、Noise2Void)和扩散先验(DPS、DDRM)——不需要成对数据,或者只需要退化算子而不需要清晰目标。

不管怎么变,"退化模型 + 反演 + 先验"这个三段论没变。深度学习只是把先验从手工规则换成了神经网络。