跳到主要内容

数据库物理存储系统简介

数据库最终要落到"介质"上:内存、闪存、磁盘、磁带。介质的物理特性——是否易失、访问粒度、顺序读写与随机读写的差距——决定了 DBMS 上层的一切设计:为什么要有页、为什么要有缓冲池、为什么索引偏爱 B+ 树而不是二叉树、为什么日志要顺序写。本章按"从慢到快、从易失到持久"的顺序梳理这些介质的特征,重点讨论磁盘的性能模型、闪存的写入约束以及 RAID 如何在可靠性与性能之间取舍。


12.1 物理存储介质概述​

计算机的存储介质构成一个存储层次结构(storage hierarchy):越靠近 CPU 的介质速度越快、单位价格越高、容量越小;越远离 CPU 的介质速度越慢、单位价格越低、容量越大。数据库系统必须同时利用多个层次,才能在成本可控的前提下满足性能需求。

层次典型介质访问延迟单位容量成本易失/持久数据库中的角色
L1/L2 CacheSRAM1 – 10 ns极高易失CPU 内部缓存,DBMS 不能显式控制
主存(DRAM)DIMM50 – 100 ns高易失缓冲池、排序区、连接哈希表
非易失内存(NVM)Optane, PMEM100 – 500 ns较高持久日志、元数据、部分表
闪存(SSD)NAND Flash50 – 200 μs中等持久主要在线数据
磁盘(HDD)磁盘阵列5 – 15 ms低持久冷数据、备份
磁带 / 光盘磁带库秒级极低持久归档、异地备份

从速度上看,主存比磁盘快约 5 – 6 个数量级;从容量上看,磁盘/SSD 比主存大约 2 – 3 个数量级。这一"存储墙"是 DBMS 设计的根本约束:

  1. 数据总量远大于内存,必须允许"数据大部分在磁盘、少量在内存"的运行方式。
  2. 每次磁盘访问代价极高,因此以"块(block/page,通常 4 KB – 16 KB)"为单位读写,而不是以字节为单位。
  3. 顺序访问远快于随机访问,DBMS 的查询计划、日志、索引结构都要利用顺序性。

介质按持久性可分为两类:

  • 易失存储(volatile storage):断电后内容丢失,如寄存器、Cache、主存。
  • 非易失存储(non-volatile storage):断电仍能保留内容,如闪存、磁盘、磁带、NVM。

数据库的"持久性(Durability)"承诺依赖于数据在提交前已写入非易失存储。真正落到磁盘的时刻,通常由日志(WAL, Write-Ahead Logging)与刷盘策略共同决定,而不是每次修改都立即写盘。


12.2 存储器接口​

主机与存储设备之间通过**存储接口(storage interface)**通信。常见接口决定了带宽上限与命令集:

  • SATA(Serial ATA):最高约 6 Gbps,命令队列深度 32,成本低,是消费级磁盘/SSD 的常见接口。
  • SAS(Serial Attached SCSI):企业级接口,支持双端口、更长的命令队列,可靠性更高。
  • NVMe(Non-Volatile Memory Express):基于 PCIe 通道,队列深度可达 64K × 64K,为闪存/NVM 而生。单盘顺序带宽可到 3 – 14 GB/s,随机 IOPS 达数十万至百万。
  • 光纤通道 / iSCSI / NVMe-oF:在 SAN(Storage Area Network)中通过网络暴露块设备,DBMS 服务器视为本地卷。

从数据库视角看,接口的重要区别是:

  1. 命令并发度:NVMe 的深队列允许一次发出成百上千个 I/O,充分利用闪存内部的多通道并行。
  2. 顺序 vs 随机:SATA 磁盘上顺序写日志几乎能跑满带宽,而随机 4 KB 写只有几百 IOPS;NVMe SSD 上二者差距被大幅缩小。
  3. 接口协议开销:NVMe 简化了命令层,单次 I/O 的软件开销远低于 SATA/SAS,主存数据库和高性能 OLTP 系统对此格外敏感。

12.3 磁盘​

尽管 SSD 已在事务型数据库中成为主力,磁盘(HDD)仍是仓库型、归档型系统的主角。理解磁盘的物理结构是理解一切 I/O 优化的基础。

12.3.1 磁盘的物理特性​

一块磁盘由若干盘片(platter)堆叠而成,每个盘片正反两面都覆盖磁性材料。盘片以固定转速(RPM,Revolutions Per Minute)绕主轴旋转,常见转速有 5400、7200、10000、15000 RPM。每个盘面上方有一个读写磁头(head),所有磁头固定在同一个**磁臂(arm)**上同步移动。

  • 磁道(track):一个磁头在盘片上划出的同心圆。
  • 柱面(cylinder):所有盘面上同一半径的磁道集合。因为磁臂同步移动,同一柱面上的所有磁道可以在不移动磁臂的情况下依次访问。
  • 扇区(sector):磁道被切分为若干弧段,每个弧段是一次最小读写单元,传统扇区 512 字节,新一代"高级格式化(Advanced Format)"为 4 KB。
  • 块(block):数据库/操作系统通常以若干连续扇区组成的块(如 4 KB、8 KB、16 KB)作为 I/O 单位。

磁盘控制器还负责扇区寻址映射(LBA, Logical Block Address),将逻辑块号翻译到"柱面/磁头/扇区(CHS)"三元组,同时对坏扇区做透明重映射。

12.3.2 磁盘的性能度量​

磁盘一次随机读的时间由三部分组成:

Taccess=Tseek+Trot+TxferT_{\text{access}} = T_{\text{seek}} + T_{\text{rot}} + T_{\text{xfer}}

各分量的含义与量级如下:

分量含义典型值(7200 RPM 企业盘)
TseekT_{\text{seek}} 寻道时间磁臂从当前磁道移到目标磁道平均 4 – 10 ms,最坏 15 – 20 ms
TrotT_{\text{rot}} 旋转延迟等目标扇区转到磁头下方平均 = 半圈 = 600002⋅RPM\frac{60000}{2\cdot \text{RPM}} ms,7200 RPM 约 4.17 ms
TxferT_{\text{xfer}} 传输时间数据从盘面读出并经接口送到主机4 KB 块通常 < 0.1 ms

示例:7200 RPM 磁盘,平均寻道 8 ms,一次 4 KB 随机读约

8+4.17+0.05≈12.2 ms8 + 4.17 + 0.05 \approx 12.2 \text{ ms}

对应 IOPS 上限 ≈1000/12.2≈82\approx 1000 / 12.2 \approx 82。这就是"机械盘随机 IOPS 只有几十到一百多"这一经典结论的来源。

顺序读的代价则要低得多:一旦定位到起始扇区,后续块只需支付传输时间,7200 RPM 单盘顺序带宽通常 100 – 250 MB/s。这也是为什么 DBMS 在扫描大表、写日志时要尽量保持数据的物理连续性。

其他常用度量:

  • 数据传输率(sustained transfer rate):连续顺序 I/O 的平均带宽。
  • 平均无故障时间(MTTF):单盘的期望寿命,企业盘常见为 1.2 – 1.6 M 小时(不是保修期,是统计意义上的均值)。
  • 平均修复时间(MTTR):从故障中恢复所需时间,决定 RAID 重建期间的窗口风险。

12.4 闪存​

**闪存(Flash Memory)**是当前在线数据库最主流的介质。它没有机械部件,采用浮栅晶体管保存电荷。闪存又分为 NOR 与 NAND,数据库主要使用容量密度更高的 NAND。

基本单元与粒度:

  • 单元(cell):一个浮栅晶体管,按存储电压等级可分为 SLC(1 bit/cell)、MLC(2 bit)、TLC(3 bit)、QLC(4 bit),密度越高寿命越短、延迟越大。
  • 页(page):读写基本单位,通常 4 KB、8 KB 或 16 KB。
  • 块(block / erase block):擦除的基本单位,通常 128 KB – 4 MB,一个块由若干 page 组成。

闪存的核心非对称约束在于:"一个 page 不能就地覆盖写"。要写入已有 page,必须先把整个 erase block 擦除(清零成 1),再重新编程写入。这一约束带来三个直接后果:

  1. 写放大(Write Amplification, WA):因为擦除粒度远大于写入粒度,即使只改 4 KB,也可能引发迁移一个 128 KB 块。WA = 实际写入闪存的字节 / 主机请求写入的字节,理想为 1,典型工作负载下 1.5 – 5。
  2. 寿命有限(endurance):每个 erase block 的可擦次数有限,SLC 约 10 万次,TLC 3000 – 10000 次,QLC 数百 – 1000 次。
  3. 需要 FTL 与 GC:为了让主机看到"可就地覆盖"的抽象,闪存控制器内部维护闪存翻译层(Flash Translation Layer, FTL),把逻辑地址映射到物理页;同时后台运行垃圾回收(Garbage Collection):把仍有效的 page 从"脏块"迁到"净块",然后擦除脏块。

**磨损均衡(wear leveling)**是 FTL 的另一职责:把写操作均匀分散到所有 erase block,避免个别块被反复擦写而先坏掉。

从 DBMS 视角,闪存改变了几条经验规则:

  • 随机读的代价几乎与顺序读相当,"块间跳跃"不再昂贵,B+ 树高扇出、随机 lookup 型索引更划算。
  • 随机写代价仍高于顺序写(因为 GC 和 WA),日志顺序追加、LSM 树等写优化结构仍然有效。
  • 闪存有"读写不对称":写通常比读慢 5 – 10 倍,且写延迟因 GC 抖动而尾部延迟大。

12.5 RAID​

单盘可靠性有限、单盘带宽有限。**RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列)**通过组合多块磁盘同时解决这两个问题:用冗余提高可靠性,用并行提高性能。

12.5.1 通过冗余提高可靠性​

若单盘 MTTF 为 100000 小时,NN 块独立盘中任何一块故障的 MTTF 大约缩短为 MTTF/N\text{MTTF}/N。100 块盘中"某块坏"平均每 1000 小时就会出现一次,因此盘数越多,冗余越必要。

RAID 通过**冗余(redundancy)**保证:单盘(或双盘)故障时数据不丢失。冗余的实现方式:

  • 镜像(mirroring):数据在两块盘上各存一份。
  • 奇偶校验(parity):对若干数据盘做按位 XOR 得到一个校验盘,任一盘故障可由其他盘异或恢复。
  • P + Q 双校验:使用 Reed-Solomon 码得到两个校验块,可容忍任意两盘同时故障。

MTTDL(Mean Time To Data Loss) 才是真正关心的指标:镜像阵列在一盘故障后,若在 MTTR 时间内第二盘也故障,数据即丢失。可近似估计:

MTTDLmirror≈MTTF22⋅MTTR\text{MTTDL}_{\text{mirror}} \approx \frac{\text{MTTF}^2}{2 \cdot \text{MTTR}}

因此**减小 MTTR(快速重建)与热备盘(hot spare)**是提高 RAID 可靠性的重要手段。

12.5.2 通过并行提高性能​

**条带化(striping)**把连续的数据按固定大小(stripe unit,如 64 KB、256 KB)轮流放到多块盘:

  • 比特级条带化:每字节的不同比特落在不同盘(几乎不用)。
  • 块级条带化:每个块整齐落在某块盘上,主流方案。

条带化带来两种并行:

  1. 单请求并行:一个大 I/O 被拆到多块盘同时传输,带宽 ≈N×\approx N \times 单盘带宽。
  2. 多请求并行:多个独立小 I/O 分配到不同盘同时执行,IOPS ≈N×\approx N \times 单盘 IOPS。

12.5.3 RAID级别​

主流 RAID 级别的容量、可靠性与 I/O 代价对比(NN 块数据盘,未含校验盘时的容量):

级别冗余方式有效容量容忍故障随机读代价随机写代价典型场景
RAID 0无冗余,纯条带NN0 盘1 次 I/O1 次 I/O追求带宽、可容忍丢失(临时表、缓存)
RAID 1镜像N/2N/21 盘(每对)1 次 I/O,可择优2 次 I/O日志、系统盘
RAID 4集中校验(条带 + 专用校验盘)N−1N-11 盘1 次 I/O4 次 I/O(读旧数据/校验,写新数据/校验),校验盘热点已很少使用
RAID 5分布式校验N−1N-11 盘1 次 I/O4 次 I/O通用工作负载
RAID 6双分布式校验(P+Q)N−2N-22 盘1 次 I/O6 次 I/O大容量归档、重建期长
RAID 10先镜像再条带(1+0)N/2N/2每对镜像各 1 盘1 次 I/O2 次 I/O高性能 OLTP,数据库首选

RAID 5 的"小写惩罚(small write penalty)":写一个数据块需要

  1. 读旧数据块;2) 读旧校验块;3) 计算新校验 = 旧数据 XOR 新数据 XOR 旧校验;4) 写新数据块;5) 写新校验块。因此一次小写引发 4 次盘 I/O(2 读 2 写)。

RAID 6 额外维护 Q 校验(Reed-Solomon),可以容忍双盘故障,但写代价升到 6 次 I/O。

RAID 10(也写作 RAID 1+0):先把盘两两镜像,再对镜像对做条带。写只需一份镜像对内的两次 I/O,读可择优;容量利用率 50% 是主要代价。对数据库工作负载性价比最好。

12.5.4 硬件问题​

RAID 的实现层次影响可靠性与性能:

  • 硬件 RAID 卡:独立控制器,通常带电池/电容保护的写缓存(BBWC / FBWC),允许把"写"先落到卡上 DRAM 立即返回。
  • 主板集成 RAID("假 RAID"):一部分逻辑由驱动软件完成,重建慢,兼容性差。
  • 软件 RAID:由操作系统(Linux md、ZFS、Btrfs)实现,成本低,功能灵活,现代 CPU 上性能足够。

"RAID 洞(write hole)":写入条带过程中掉电,可能出现数据块已更新、校验块未更新的不一致状态。硬件 RAID 用 BBWC + 日志,ZFS/Btrfs 用写时复制(CoW)避免。

12.5.5 RAID级别的选择​

选择时的经验规则:

  1. 对写延迟敏感的日志、redo/undo:RAID 1 或 RAID 10。
  2. 在线数据、混合读写:RAID 10 优先;数据量大预算紧张再考虑 RAID 5/6。
  3. 顺序为主的备份、归档、数据仓库:RAID 5/6 可接受,兼顾容量与可靠性。
  4. 临时表、外部排序中间结果:RAID 0 或 RAID 10(若节点内还想快速恢复)。
  5. 磁盘越大 → 重建时间越长 → 越倾向 RAID 6:3 TB 以上的盘做 RAID 5,重建期内二次故障概率显著上升。

12.5.6 其他的RAID应用​

RAID 思想不仅出现在磁盘阵列,也扩散到多种存储场景:

  • SSD 阵列:闪存本身内部就有多通道并行,再叠加 RAID 时要注意 GC 抖动会拖慢整个条带。
  • 分布式对象存储:Ceph、HDFS 早期用 3 副本(相当于 RAID 1 的分布式版),近年更多采用 纠删码(erasure coding),如 EC(10,4):10 数据块 + 4 校验块,容忍任意 4 块丢失,存储效率 71%,本质是 RAID 6 的推广。
  • 单机文件系统:ZFS 的 RAID-Z1/Z2/Z3、Btrfs 的 RAID profile 都在文件系统层实现类 RAID 冗余。
  • 数据库副本:主从复制、Paxos/Raft 多副本可视为"节点级 RAID 1"。

12.6 磁盘块访问​

理解磁盘的物理性质后,"如何减少磁盘 I/O"就转化为一组工程原则:

(1)以块为单位。DBMS 内部一切 I/O 都以块为粒度。块选大:一次 I/O 摊薄了寻道/旋转开销,顺序扫描更快;块选小:缓冲区命中率更高、随机 point-lookup 浪费少。经验值 4 KB – 16 KB。

(2)数据聚簇(clustering)。经常一起访问的记录物理相邻,例如把订单及其订单明细放同一页或相邻页;顺序索引让主码相近的记录物理相邻。

(3)非易失写缓冲。带 BBWC 的 RAID 卡、SSD 内部的 DRAM 缓存,让"写"看起来是瞬时的;DBMS 的日志缓冲区先合并再刷盘。

(4)文件组织与页面对齐。避免记录跨页(span record),避免小 I/O 与 RAID 条带边界不对齐(否则一次逻辑写触发两次物理条带写)。

(5)I/O 调度:

  • 电梯算法(elevator / SCAN):把 I/O 队列按 LBA 排序,磁头单向扫过,减少寻道抖动。
  • NCQ / TCQ:磁盘/SSD 控制器内的命令排序,DBMS 可发出深队列 I/O。
  • 预读(read-ahead / prefetch):识别顺序扫描,提前把后续页读入缓冲区;DBMS 的顺序扫描算子和文件系统都会做。

(6)用日志把随机写变顺序写。WAL(Write-Ahead Log)把数据页的随机修改先追加为顺序日志记录,等到检查点再回写数据页,是"用磁盘顺序带宽换随机 IOPS"的经典技巧。这一思想在闪存时代继续被 LSM 树发扬光大。


12.7 总结​

  • 数据库存储被组织为存储层次结构,速度、成本、易失性沿层次单调变化;DBMS 的核心任务之一就是在层次间搬运数据。
  • 磁盘一次随机访问由寻道时间 + 旋转延迟 + 传输时间构成,随机 IOPS 在几十到一百多;顺序带宽却可达 100 – 250 MB/s。这一巨大差距塑造了 DBMS 的方方面面。
  • 闪存不再有机械寻道,随机读几乎与顺序读同价;但 erase-before-write 与磨损带来了写放大与寿命约束,写优化数据结构(LSM、追加式日志)仍然重要。
  • RAID 用冗余换可靠性、用条带换性能。RAID 0/1/5/6/10 在容量、故障容忍度、写代价上各有取舍;数据库工作负载最常选择 RAID 10,仓库/归档考虑 RAID 5/6 或纠删码。
  • 减少磁盘 I/O 的通用手段是大块、聚簇、非易失写缓冲、预读、把随机写转成顺序写。这些原则贯穿后续章节的文件组织、缓冲池、索引与恢复子系统。