跳到主要内容

渲染管线概览:从顶点到像素的旅程

图形渲染是一个"把三维场景压扁成二维图像"的过程。这个过程被工业界拆成了一条流水线,几十年来阶段划分基本没变——但每个阶段的实现从固定硬件电路,一路演化到了完全可编程的 SIMD 处理器。这一章讲的是全景:这条流水线上有几站,每站做什么,为什么这么划分。

1. 为什么是"管线"​

一次渲染的输入是几何数据(顶点、索引、属性)加上大量参数(矩阵、纹理、材质),输出是一帧图像。中间的运算量惊人——一个 1080p 屏幕有 200 万像素,60 fps 意味着每秒 1.2 亿次像素级计算,每个像素还可能要采样多张纹理、算光照、混合半透明。

CPU 单线程做这件事没戏。GPU 走了另一条路——把工作切成极大量小任务,每个任务只依赖少量本地数据,然后砸几千个执行单元并行做。管线化让每个阶段专注一件事,阶段间用队列缓冲,前一个阶段的输出直接作为后一个阶段的输入。这跟 CPU 里的指令流水线是同一个哲学,但粒度大得多——GPU 管线的每一"级"是一整个逻辑功能,不是一条指令的一个周期。

流水线的代价是顺序依赖。前面阶段不完成,后面阶段没输入。所以早期 GPU 硬件设计的核心问题是:怎么让每级的负载均衡,让最慢的那一级不成为瓶颈。答案是统一着色器架构(Unified Shader)——顶点、片段共用一套计算单元,谁忙谁上,2006 年之后所有 GPU 都是这么做的。

2. 管线阶段总览​

现代图形 API(Direct3D 11、OpenGL 4.x、Vulkan、Metal)暴露的逻辑管线大致是这样的:

   应用程序 (CPU)
│
▼
┌─────────────┐
│ 输入装配 IA │ Input Assembler:读取顶点/索引缓冲
└──────┬──────┘
▼
┌─────────────┐
│ 顶点着色 VS │ Vertex Shader:变换、传属性 [可编程]
└──────┬──────┘
▼
┌─────────────┐
│ 曲面细分 │ Hull / Tessellator / Domain [可选、可编程]
└──────┬──────┘
▼
┌─────────────┐
│ 几何着色 GS │ Geometry Shader [可选、可编程]
└──────┬──────┘
▼
┌─────────────┐
│ 图元装配 PA │ 裁剪、透视除法、视口变换、背面剔除
└──────┬──────┘
▼
┌─────────────┐
│ 光栅化 RS │ 三角形 → 片段 (fragment)
└──────┬──────┘
▼
┌─────────────┐
│ 片段着色 FS │ Fragment/Pixel Shader:算颜色 [可编程]
└──────┬──────┘
▼
┌─────────────┐
│ 输出合并 OM │ 深度/模板测试、Alpha 混合、写帧缓冲
└──────┬──────┘
▼
帧缓冲

其中标 [可编程] 的是必须写 shader 代码的阶段,[可选] 的可以不启用直接透传。

3. 阶段拆解​

3.1 输入装配 IA​

从顶点缓冲(Vertex Buffer)里按索引缓冲(Index Buffer)读顶点数据,组装成图元流。程序员通过设置输入布局(Input Layout / VAO)告诉 IA:每个顶点占多少字节,属性偏移是多少,哪个属性喂到 shader 的哪个 slot。

这里就有一个工程细节:顶点缓冲里可能有位置、法线、UV、切线、骨骼权重、颜色……总共几十字节,但同一个顶点在网格里被多个三角形共享。用索引缓冲避免了重复存储——一个立方体 8 个顶点,12 个三角形,如果不用索引要存 36 份顶点数据,用索引只存 8 份 + 36 个 int。

3.2 顶点着色器 VS​

对每个顶点执行一次的可编程阶段。核心任务是把模型空间坐标变换到裁剪空间:

pclip=Mproj⋅Mview⋅Mmodel⋅plocal\mathbf{p}_{\text{clip}} = \mathbf{M}_{\text{proj}} \cdot \mathbf{M}_{\text{view}} \cdot \mathbf{M}_{\text{model}} \cdot \mathbf{p}_{\text{local}}

细节在 坐标空间变换:从模型到屏幕 里已经推导过。VS 还负责把法线变换到某个统一空间(世界或视图),把 UV 传递下去,可能还要做骨骼蒙皮、变形动画。VS 一进一出——一个顶点输入,一个顶点输出,不能增删。

具体做法见 顶点处理与图元装配。

3.3 曲面细分与几何着色器​

曲面细分(Tessellation)是 DX11 引入的三级子流水线:Hull Shader 输出 patch 的控制点和细分因子,固定功能的 Tessellator 生成新顶点,Domain Shader 计算这些新顶点的位置。用来把粗糙的多边形网格在 GPU 上加密——地形 LOD、置换贴图。

几何着色器(Geometry Shader)能吃一个图元、吐出零到多个图元。理论上很灵活(生成粒子、挤出阴影体),实际上因为破坏并行性、在多数 GPU 上跑得慢,大项目基本不用。Nanite、Mesh Shader 出现后 GS 基本退出历史舞台。

3.4 图元装配 PA​

VS/GS 输出的顶点在这里被组装成三角形,然后做几件不含着色的重活:

  1. 裁剪(Clipping):把与视锥体(frustum)相交的三角形切开,视锥外的丢弃
  2. 透视除法:(xc,yc,zc,wc)→(xc/wc,yc/wc,zc/wc)(x_c, y_c, z_c, w_c) \to (x_c/w_c, y_c/w_c, z_c/w_c),得到 NDC 坐标
  3. 视口变换:NDC 的 [−1,1][-1,1] 映射到屏幕像素坐标 [0,W]×[0,H][0, W]\times[0, H]
  4. 背面剔除(Backface Culling):根据顶点绕序丢弃背对相机的三角形

这一段几乎全是固定功能——不是因为没法可编程,而是因为流程太固定、太成熟,硬编成硬件电路更快。

3.5 光栅化 RS​

三角形现在是屏幕空间里的一个二维图形。光栅化的问题是:哪些像素被这个三角形覆盖?对每个被覆盖的像素生成一个片段(fragment),插值出该像素处的属性(深度、UV、法线、颜色)。

光栅化是整个管线里唯一"离散化"的地方——把连续几何变成离散像素。它决定了走样(aliasing)、亚像素精度、多重采样(MSAA)等一系列问题。细节见 光栅化:三角形如何变成像素。

3.6 片段着色器 FS​

对每个片段执行一次。片段不等于像素——一个像素可能对应多个片段(例如 MSAA 4x 就是 4 个),或者被 Early-Z 剔除后一个片段都不留。FS 的输入是插值好的顶点属性和 uniform(贴图、常量),输出是这个片段的颜色(可能还有深度、多个渲染目标的值)。

绝大部分渲染成本都在这里:算光照、采样贴图、做各种视觉效果。基础光照模型 里的 Phong / Blinn-Phong / PBR,全都跑在 FS 上。

3.7 输出合并 OM​

FS 算出颜色,OM 决定这个颜色能不能、怎么写到帧缓冲。做四件事:

  • 深度测试:znew<zbufferz_{\text{new}} < z_{\text{buffer}}?不通过就丢弃
  • 模板测试:读模板缓冲的值,按配置的规则决定通过与否
  • Alpha 混合:把新颜色和帧缓冲已有颜色按 alpha 混合
  • 写入:把最终颜色(可能是多个 MRT)写到目标附件

细节见 片段处理与输出合并。

4. 固定功能 vs 可编程​

早期 GPU(1999 年前)整条管线都是硬编的,程序员只能通过 API 状态调参。NVIDIA GeForce 3(2001)第一次开放了顶点着色器,GeForce FX(2003)开放了片段着色器。DX10(2006)引入几何着色器和统一架构。DX11(2009)加了曲面细分和 Compute Shader。到今天,除了光栅化、深度/模板测试、混合还是固定功能,其余全是可编程的。

为什么这三样还固定?

  • 光栅化:算法极其成熟,硬件效率碾压软件;亚像素精度和 MSAA 深度耦合硬件设计
  • 深度/模板测试:跟 Early-Z、Hi-Z 硬件优化耦合;如果 FS 能改深度,Early-Z 就失效
  • 混合:ROP 单元的原子操作和带宽压缩强依赖固定电路

近年 Ray Tracing 引入了新的可编程阶段(Ray Generation、Any/Closest/Miss Hit),Mesh Shader 干脆把 IA/VS/GS 合并成一个可编程阶段。管线在演化,但"顶点→图元→像素→帧缓冲"这条主干十几年没动。

5. GPU 硬件如何映射这条管线​

一颗现代 GPU 有几十到上百个 SM(Streaming Multiprocessor,NVIDIA)或 CU(Compute Unit,AMD),每个 SM 里有几十个 ALU。指令按 warp(NV 32 线程)或 wavefront(AMD 64 线程)为单位下发,同一 warp 内的线程执行同一条指令,操作不同数据——这是 SIMT 模型,本质是 SIMD 加了独立线程状态。

顶点着色器和片段着色器都被打包成 warp 跑:

  • 一个 warp = 32 个顶点(或 32 个片段)
  • 片段以 2×2 quad 为最小单位光栅化,方便计算屏幕空间导数 ddx/ddy(Mipmap 选级要用)
  • 一个 warp 内一半线程走 if 分支、一半走 else,两条路径都会执行(warp divergence),代价是双倍时间

内存层次:

层级大小延迟用途
寄存器每线程数十0 周期shader 局部变量
共享内存/L1每 SM 100 KB~30 周期同 block 线程通信
L2几 MB~200 周期跨 SM 缓存
显存 VRAM8–24 GB~500 周期纹理、缓冲

写 shader 时脑子里要有这张表——纹理采样是几百周期的操作,一次 sample 的代价相当于几十条算术指令,所以现代 shader 的性能优化基本围绕"隐藏纹理延迟"展开。

6. 前向渲染与延迟渲染​

同一条管线,用法可以不同。

前向渲染(Forward):一个物体、一个 draw call,FS 里遍历所有光源算光照。简单,支持透明物体和 MSAA,但光源多起来 FS 里的循环炸开——NN 个物体 MM 个光源就是 O(NM)O(NM) 次光照计算,还有大量物体被后面的挡住白算。

延迟渲染(Deferred):分两趟。第一趟只把几何和材质属性写到 G-Buffer(多张纹理,MRT),第二趟每个光源画一个屏幕四边形,在 FS 里读 G-Buffer 算光照。光源数量线性摊到屏幕像素上,跟物体数量解耦。代价是内存带宽爆炸(G-Buffer 每帧读写几百 MB),且不支持硬件 MSAA、透明物体要单独走前向。

Forward+/Clustered:把屏幕/视锥切成小块,先做一遍光源剔除找出每块受哪些光影响,然后前向渲染时 FS 只遍历本块的光源列表。取两者之长,是现在 3A 游戏的主流。

7. 一条 draw call 的完整旅程​

举个例子,画一个带纹理的三角形:

  1. CPU:设置顶点缓冲、索引缓冲、纹理、shader、渲染目标;提交 DrawIndexed(3)
  2. 驱动:把命令翻译成 GPU 命令流,塞到 command buffer
  3. GPU 命令处理器:读命令,唤醒管线
  4. IA:从顶点缓冲拉 3 个顶点
  5. VS:3 个顶点分别做 MVP 变换,输出裁剪空间坐标
  6. PA:判断三角形是否在视锥内、正面朝相机;透视除法;视口变换
  7. RS:扫描三角形覆盖的像素,比方说 1000 个片段
  8. FS:1000 次执行,每次采样纹理、返回颜色
  9. OM:1000 次深度测试,通过的写入帧缓冲
  10. 呈现:帧缓冲的图像被 present 给显示器

这条链路里每一步都可能是瓶颈。CPU 端 draw call 太多可能撞 API 开销上限(DX11 单线程 ~5000 dc/frame),几何太复杂 VS 顶不住,overdraw 太严重 FS 顶不住,混合太多 ROP 顶不住,纹理带宽不够卡在 L2 miss。做性能优化第一件事就是知道自己卡在哪一级——GPU profiler(Nsight、RenderDoc、PIX)就是干这个的。

8. 与本目录其他文章的关系​

管线是所有实时图形的骨架。理解了每一站在做什么,看 shader 代码、读渲染 API、debug 图形问题才有地图可循。