跳到主要内容

图像分割:把图像切成有意义的部分

前面几章都在做变换——变亮度、变频率、变形状。这一章开始做决策:图像里的每个像素归哪个物体?物体和背景的分界在哪?分割是从"处理"跨向"理解"的第一步。

分割没有唯一正确答案。"一张桌子的照片"可以分成:桌子+背景(前后景分割);桌面+桌腿+桌上物品(部件分割);每一个具体物品(实例分割)。粒度取决于你要做什么。分割算法的选择本质上是任务定义的选择。

1. 两大流派:基于不连续 vs 基于相似​

基于不连续性:找边界。假设不同区域之间有明显的亮度/颜色/纹理跳变。边缘检测就是这一派。

基于相似性:找同类区域。假设同一区域内像素某种属性一致。阈值、区域生长、聚类是这一派。

两派对偶——边界包围的就是区域,区域之间就是边界。但算法实现完全不同,各有失效模式:低对比度边缘会难倒边缘检测,多模态区域会难倒阈值法。

2. 边缘检测:找不连续的地方​

一阶导数在阶跃处极大值,二阶导数在阶跃处过零。所有边缘检测都是围绕这两点。

2.1 一阶算子​

Sobel、Prewitt、Roberts。梯度幅值 ∣∇f∣|\nabla f| 大的地方就是边。

Gx=[−101−202−101],Gy=[−1−2−1000121]G_x=\begin{bmatrix}-1&0&1\\-2&0&2\\-1&0&1\end{bmatrix},\quad G_y=\begin{bmatrix}-1&-2&-1\\0&0&0\\1&2&1\end{bmatrix}

问题:噪声也会产生大梯度。要先平滑。

2.2 二阶算子:LoG 和 DoG​

Laplacian of Gaussian(LoG):先高斯平滑(去噪)再拉普拉斯(找过零点)。写在一起:

∇2G(x,y)=(x2+y2−2σ2σ4)e−x2+y22σ2\nabla^2 G(x,y)=\left(\frac{x^2+y^2-2\sigma^2}{\sigma^4}\right)e^{-\frac{x^2+y^2}{2\sigma^2}}

墨西哥草帽形状。σ\sigma 决定平滑尺度——小 σ\sigma 抓细节但保留噪声,大 σ\sigma 抓大尺度边缘。

DoG(Difference of Gaussians) 是 LoG 的快速近似:Gσ1−Gσ2G_{\sigma_1}-G_{\sigma_2},两个不同 σ\sigma 的高斯核相减。SIFT 特征就在 DoG 尺度空间里找极值点。

2.3 Canny:金标准​

Canny 1986 年提出,至今仍是经典边缘检测的默认选择。五步流水线:

  1. 高斯平滑:σ=1∼2\sigma=1\sim 2
  2. Sobel 算梯度:得幅值 MM 和方向 θ\theta
  3. 非极大值抑制(NMS):沿梯度方向 θ\theta 只保留局部极大点。作用是把宽边细化成 1 像素宽
  4. 双阈值:高阈值 THT_H 确定强边,低阈值 TLT_L 确定弱边
  5. 滞后跟踪:弱边只有连接到强边时才保留,否则删除

Canny 的三大准则(Canny 自己论文里推导过):

  • 检测:正确边缘不漏检、非边缘不误检
  • 定位:检测到的位置尽量准
  • 单边响应:每个真实边缘只输出一条响应

Canny 的边缘图接近人眼判断,是很多下游算法(Hough 变换、轮廓提取)的默认输入。

2.4 学习到的边缘检测​

传统方法只看亮度梯度,看不到语义。HED(Holistically-nested Edge Detection, 2015)用 CNN 做边缘检测——只有语义边缘输出,纹理边缘被抑制。BDCN、RCF 是后续改进。

区别:Canny 会把桌布上的花纹边缘和桌沿边缘等对待,HED 只会输出桌沿。视任务而定:想做几何测量用 Canny;想做物体识别用 HED。

3. Hough 变换:从边缘点到几何形状​

Canny 给的是边缘点集,不是"这是一条直线"。Hough 变换把参数化的几何形状(直线、圆、椭圆)从边缘点里拟合出来。

直线 Hough:直线用 ρ=xcos⁡θ+ysin⁡θ\rho=x\cos\theta+y\sin\theta 参数化(ρ\rho-θ\theta 空间避免斜率无穷的问题)。对每个边缘点 (x,y)(x,y),遍历所有 θ\theta,算对应的 ρ\rho,在 (ρ,θ)(\rho,\theta) 累加器空间加 1。累加器里的峰值就是图像中的直线。

圆 Hough:三参数 (a,b,r)(a,b,r)。累加器变三维,慢很多。用 Sobel 梯度方向可以先约束搜索方向,加速。

Hough 抗噪强、对断续边缘友好、能同时检测多条形状,但参数数量指数级放大计算量。四参数以上的形状用 Hough 会爆炸,一般改用 RANSAC。

4. 阈值分割:最简单也最常用​

设定 TT,f(x,y)>Tf(x,y)>T 归前景,否则背景。三个层级:

  • 全局阈值:整幅图一个 TT
  • 局部/自适应阈值:每个邻域算自己的 TT
  • 多阈值:T1,T2,…T_1, T_2, \ldots,多类别

4.1 Otsu:找到最优全局阈值​

假设图像有两个类别,Otsu 找一个 TT 使类间方差最大(等价于类内方差最小):

σB2(T)=P1(T)P2(T)[μ1(T)−μ2(T)]2\sigma_B^2(T) = P_1(T)P_2(T)[\mu_1(T)-\mu_2(T)]^2

遍历所有可能的 TT(0 到 255)取最大值。O(L)O(L) 时间搞定。

Otsu 假设直方图双峰。单峰、多峰、平坦分布下失效。工程上先看直方图形状再决定用不用。

4.2 自适应阈值​

局部光照不均时全局 TT 不管用。自适应阈值 T(x,y)=μ(x,y)−CT(x,y)=\mu(x,y)-C,μ\mu 是邻域均值,CC 是偏置常数。或者 T(x,y)=mean⋅(1−k(σ/R−1))T(x,y)=\text{mean}\cdot(1-k(\sigma/R-1))(Sauvola 方法)等。

用途:文档二值化(纸张有阴影)、显微图像(照明不均)。

5. 区域生长和分裂合并​

5.1 区域生长​

从一个或多个种子点开始,把满足相似性准则的邻居加进来:

1. 选种子 s
2. 检查 s 的邻居 p
3. 如果 |f(p)-f(s)|<T 且 p 未访问,加入区域
4. 从 p 继续扩展,直到没有新邻居可加

优点:可以从少量种子获得大区域;对纹理不敏感。缺点:结果依赖种子选择;相似性阈值难调。

医学图像分割里常用(用户点一下选种子,算法长出一个器官)。深度学习时代的交互式分割(DEXTR、SAM)继承了这个思路——用户点几下,模型自己找区域。

5.2 分裂合并​

从整幅图开始,如果不同质就四分(quadtree),继续检查每一块,直到每块内部同质。然后合并相邻的同质块。

结构清晰、递归实现。但方形分割会产生锯齿状边界,需要后处理。

6. 分水岭:把图像当地形​

把灰度图看成地形,亮度是海拔。分水岭算法从每个极小值点开始"注水",水位上升,不同盆地的水面在山脊上相遇,形成分割边界。

流程:

  1. 对图像做梯度(用形态学梯度)
  2. 找局部极小值作为种子
  3. 模拟浸没过程
  4. 记录不同种子集合相遇的位置作为分水岭线

过分割是经典问题——梯度图上小噪声都是极小值。解决方案:

  • 先做形态学开/闭平滑掉噪声
  • 用标记控制分水岭:手动或算法选出真正的区域中心作为种子

细胞图像分割里几乎必用分水岭。OpenCV 的 cv2.watershed 是工业标准实现。

7. 主动轮廓和水平集​

Snake(主动轮廓):给一条初始曲线,让它在能量最小化下"游"到边缘处。能量 = 内部平滑项 + 外部数据项。

水平集:曲线用高维函数 ϕ\phi 的零水平集表示,可以自然处理拓扑变化(曲线分裂、合并)。医学器官分割用得多。

Chan-Vese:不用梯度,用区域内外的灰度均值差驱动曲线演化。对模糊边缘友好。

这一派方法用 CNN 之前是精细分割的主流,现在被 U-Net 之类的模型取代了大部分场景。但在物理约束严格的场景(心脏 MRI 心室边界必须闭合、光滑)仍在用。

8. 基于聚类的分割​

把图像的每个像素当特征向量(可能是 RGB、也可能是 RGB+坐标),做聚类。

  • K-means:指定 K 个类,每个像素归给最近中心。快、简单,需要预设 K
  • Mean-Shift:每个像素朝密度峰值移动,自动发现聚类数。慢,参数少
  • SLIC 超像素:K-means 的变种,强制空间连续,得到大小接近的超像素块。作为下游算法的预处理层

聚类分割在无监督场景(不知道有多少物体)比阈值和边缘鲁棒,但只利用低层特征,看不到语义。

9. 深度学习分割:从 U-Net 到 SAM​

传统方法只用像素颜色/纹理。深度学习开始理解语义。

FCN(2015):第一个端到端的全卷积语义分割。分类网络砍掉全连接层,加上转置卷积做上采样。

U-Net(2015):编码-解码 + 跳跃连接。医学分割的默认基线,至今没有真正过时。

DeepLab 系列:空洞卷积保持感受野的同时不下采样,CRF 做后处理。

Mask R-CNN(2017):实例分割。物体检测框 + 每个框里的像素级 mask。

SegFormer / Swin:Transformer 骨干替代 CNN。

SAM(Segment Anything Model, 2023):Meta 训练的通用分割模型。11 亿 mask 数据集,点一下/画个框就能分出任何东西。改变了传统流水线——很多任务从"训练一个分割模型"变成"调用 SAM API + 一点微调"。

10. 分割评价​

IoU(Intersection over Union):∣A∩B∣/∣A∪B∣|A\cap B|/|A\cup B|。0-1 之间,越大越好。0.5 通常是"及格",0.85+ 是"优秀"。

Dice 系数:2∣A∩B∣/(∣A∣+∣B∣)2|A\cap B|/(|A|+|B|)。医学分割常用,对小目标更友好。数值上比 IoU 略高。

边界 F-measure:只看边界像素的召回和精度。适合评价形状精度而不是覆盖率。

11. 选谁​

  • 简单二值场景:Otsu / 自适应阈值
  • 几何形状检测:Canny + Hough
  • 医学器官粗分割:区域生长 / 分水岭
  • 细胞、颗粒计数:形态学 + 分水岭
  • 通用语义分割:U-Net / SAM
  • 实例分割:Mask R-CNN / SAM

分割是 DIP 里最"任务依赖"的一环。别指望一个算法通吃——设定分割标准、评估准则、失效模式,比选算法本身更重要。