跳到主要内容

数据库系统体系结构

20.1 概述​

数据库系统的体系结构决定了它如何利用计算资源、承担多用户负载、实现高可用与可扩展。本章按从简到繁的顺序讨论:集中式(单机)→ 客户端/服务器 → 并行(多处理器 / 多机紧耦合)→ 分布式(松耦合多站点)→ 云服务。

选择何种架构主要取决于四个因素:

  • 吞吐与响应时间要求:TP 系统关注每秒事务数与尾延迟;OLAP 系统关注复杂查询的总时长。
  • 可用性要求:SLA 是否允许分钟级停机?是否需要跨可用区/跨地域容灾?
  • 数据量与扩展性:TB 级还是 PB 级?是否需要在线扩容?
  • 运维模型:本地集群 vs 云托管;专职 DBA vs 全自助。

从历史演进上看,数据库体系结构大致经历了如下阶段:

  1. 1960s 主机时代:数据库运行在大型机上,用户通过终端连接,本质上是集中式。
  2. 1980s C/S 时代:随着 PC 与局域网普及,客户端承担界面与逻辑,服务器管数据。
  3. 1990s 并行 DB 时代:数据仓库崛起,Teradata、DB2 Parallel Edition 引入无共享架构。
  4. 2000s 分布式 DB 与 NoSQL:互联网规模催生 Bigtable、Dynamo、Cassandra 等以可扩展与高可用为目标的系统。
  5. 2010s 云原生与 NewSQL:Spanner、CockroachDB、TiDB 等在保证 ACID 的同时具备水平扩展;Aurora、Snowflake 分离计算与存储。
  6. 2020s Serverless 与 HTAP:按请求计费、极致弹性;单一系统同时服务 OLTP 与 OLAP。

20.2 集中式数据库系统​

集中式系统在单台计算机上运行数据库,所有事务在该机器的进程中执行。典型部署为:一台服务器 + 直连磁盘(DAS)。

  • 硬件:可能是多核 CPU、几十到几百 GB 主存、若干 TB 磁盘。
  • 软件:一个 DBMS 进程(或线程池)负责查询处理、事务管理、缓冲、日志与恢复。
  • 用户:通过本地程序或简单终端连接。

集中式系统结构简单、无网络开销,是嵌入式和小规模应用(如实验室工具、个人应用、桌面软件)的首选。缺点是单点故障与垂直扩展瓶颈:单机 CPU/内存/IO 达到上限后无法继续水平扩展。

需要强调,"集中式"不等于"单线程"——现代单机 DBMS(PostgreSQL、MySQL InnoDB、SQLite 的 WAL 模式)都是高度多线程/多进程的,可以充分利用几十上百的核心。真正的瓶颈往往出现在 IO 子系统与锁管理器,而非单核算力。为此,即便是集中式部署也常配合读副本、缓存层(Redis、Memcached)与应用层分片,形成一种"表面集中、内里分布"的实际架构。


20.3 服务器系统体系结构​

在客户端/服务器(C/S) 模型中,客户端负责用户交互与部分业务逻辑,服务器集中提供数据管理服务。基本结构:

C/S 架构按服务器所承担的职责分为两大类。

20.3.1 事务服务器体系结构​

又称查询服务器。客户端发送 SQL 或存储过程调用,服务器完成解析、优化、执行、事务管理,返回结果集。多数关系数据库(Oracle、MySQL、SQL Server、PostgreSQL)都是这一形态。

服务器内部通常有:

  • 进程/线程管理器:为每个连接分派工作线程或使用线程池。
  • 锁管理器:管理锁表与死锁检测。
  • 查询处理器:解析、优化、执行。
  • 缓冲管理器:管理缓冲池、脏页刷回。
  • 日志管理器:写 WAL 日志。
  • 恢复管理器:崩溃恢复。

20.3.2 数据服务器与数据存储系统​

数据服务器只提供页级 / 对象级的存储接口,事务逻辑与查询执行在客户端。适合客户机能力较强、数据结构复杂(如面向对象数据库、CAD)的场景。今天的共享存储(如 Amazon Aurora 的存储层、Azure SQL HyperScale)也可以看作这一模式的现代变体:计算节点在前,共享存储节点在后。

由于每次访问都要发送页面,数据服务器对网络延迟极敏感,通常配合客户端缓存与预取。

20.3.3 客户端高速缓存​

为减少网络往返与服务器负担,客户端可缓存最近访问的页面或结果。缓存一致性维护有几种典型策略:

  • 写透(write-through):客户端修改后立即写回服务器。
  • 写回(write-back):延迟写回,通常配合租约(lease)避免长时间脏数据。
  • 回调(callback):服务器记录哪些客户端缓存了哪些数据,写操作时通知客户端使缓存失效。

20.4 并行系统​

并行系统在紧耦合的多处理器/多机上并行执行数据库工作,追求吞吐与响应时间上的线性提升。

20.4.1 并行数据库的动机​

  • 数据量爆炸:TB/PB 级仓库单机磁盘 IO 不足;
  • 响应时间:交互式分析要求秒级返回,需要分片并行;
  • 吞吐:高并发 OLTP 需要多核甚至多机分担;
  • 成本:多台商用机器往往比单台高端机器更划算。

20.4.2 并行系统的性能度量​

用 T1T_1 表示单机耗时,TnT_n 表示 nn 节点耗时,WW 表示工作量。两个核心指标:

  • 加速比(Speedup):固定负载,节点数增加,看时间下降。
speedup(n)=T1(W)Tn(W)\text{speedup}(n) = \frac{T_1(W)}{T_n(W)}

理想为 nn(线性加速);实际因通信、协调、倾斜而低于 nn。

  • 规模增长比(Scaleup):负载与节点数同比增长,看时间是否保持。
scaleup(n)=T1(W)Tn(n⋅W)\text{scaleup}(n) = \frac{T_1(W)}{T_n(n \cdot W)}

理想为 1。

制约并行性的因素:

  • 启动代价:任务分派、进程创建;
  • 干扰:共享资源上的竞争;
  • 倾斜(skew):数据/负载分布不均,最慢节点拖累整体;
  • 通信开销:中间结果传输。

按加速的性质又可分为两类:

  • 批量加速(batch speedup):单个大查询由多节点并行执行,追求响应时间;
  • 事务加速(transaction speedup):大量独立小事务由多节点同时执行,追求吞吐。

一个查询即使呈现出接近线性的事务加速,其批量加速也可能远低于线性——因为后者受制于查询内部的可并行部分(Amdahl 定律)。若查询中有 ff 的比例必须串行执行,则加速比上界为 1f+(1−f)/n\dfrac{1}{f + (1-f)/n},当 n→∞n \to \infty 时趋于 1/f1/f。

20.4.3 互连网络​

多处理器之间的连接方式:

  • 总线(bus):所有节点共享一条通信线,简单但带宽有限;
  • 环形(ring):节点串成环,跳数为 O(n)O(n);
  • 网状/超立方体(mesh / hypercube):高并行度,硬件成本高;
  • 交换网(switched fabric):现代数据中心的以太网 / InfiniBand 结合 Clos 拓扑,提供近似全对全带宽。

关键指标是二分带宽(bisection bandwidth):将网络任意分为大小相同的两半,两半之间的最小总带宽。nn 节点系统若二分带宽随 nn 线性增长,则数据库的 shuffle、broadcast 等重量级通信原语才能保持良好可扩展性。当代数据中心已从传统"树 + 汇聚层"演进到 Clos / spine-leaf,以获得可预测的近似全对全带宽。此外,RDMA(Remote DMA)技术允许节点绕过内核直接访问远端内存,把节点间通信延迟压至微秒级,正在改变分布式数据库的通信原语设计。

20.4.4 并行数据库体系结构​

按对内存与磁盘的共享方式,分为三类基本架构。

20.4.5 共享内存​

所有 CPU 共享一块公共主存与磁盘。

优点:进程间通信通过共享变量,延迟极低;缓存一致性由硬件保证。 缺点:内存总线成为瓶颈,通常受限于几十到上百个核;单一操作系统故障即导致整体宕机。多核单机 DBMS(如 SQL Server、PostgreSQL)本质上是共享内存并行。

20.4.6 共享磁盘​

各节点有独立 CPU 与内存,共享磁盘(SAN、共享块存储)。

优点:任意节点故障不影响数据可达性;存储与计算解耦,扩容灵活。 缺点:需要分布式锁管理器协调对共享数据的访问;缓存一致性需软件维护。典型系统:Oracle RAC、DB2 pureScale。

20.4.7 无共享​

每个节点独占 CPU、内存与磁盘,节点间仅通过网络通信。数据按某种策略(哈希、范围、轮询)分片(partition) 到各节点。

优点:可扩展性最好;节点间干扰最小。缺点:查询处理需数据重分布(shuffle),倾斜时性能骤降;分布式事务复杂。典型系统:Teradata、Greenplum、Vertica、Hive/Presto、CockroachDB、Spanner 等。

20.4.8 层次​

现代系统常将上述三种混合:

  • 每个节点内部是共享内存多核;
  • 若干节点组成一个共享磁盘/共享存储集群;
  • 多个集群之间是无共享结构,通过网络协作。

例如 Aurora 的计算节点内部共享内存,多个计算节点共享存储层,跨可用区又是无共享部署。


20.5 分布式系统​

分布式数据库系统由地理上分离的多个自治站点通过广域网互连,各站点可能属于不同管理域,具有较高延迟与较低带宽。

  • 数据自治:每站点管理自己的数据,可能是异构 DBMS;
  • 透明性:位置透明、复制透明、切分透明;
  • 典型应用:跨地域银行系统、跨国零售、多地容灾。

分布式系统在设计上必须权衡 CAP 三者:

  • 一致性(Consistency):所有节点在同一时刻看到相同数据;
  • 可用性(Availability):每个请求都有响应;
  • 分区容忍性(Partition tolerance):网络分区时系统仍能运行。

CAP 定理:网络分区不可避免,故只能在 C 与 A 之间权衡。CP 系统(如 Spanner、CockroachDB)在分区时牺牲可用性以保一致;AP 系统(如 Dynamo、Cassandra)在分区时保可用而放松一致,配合最终一致性。

PACELC 进一步补充:如果发生分区(P),系统在可用性(A)与一致性(C)间取舍;否则(E, else),在延迟(L)与一致性(C)间取舍。据此可将系统归为 PA/EL、PA/EC、PC/EL、PC/EC 四类。例如 Spanner 属于 PC/EC,DynamoDB 属于 PA/EL。

分布式数据库常见的数据放置策略:

  • 水平分片(sharding):按主键哈希或范围划分到不同节点;
  • 垂直分片:按列划分,冷热分离;
  • 完全复制:每站点保留完整副本,读快写慢;
  • 部分复制:只在若干站点复制,兼顾读性能与写代价。

分布式查询处理需考虑:

  • 半连接(semi-join):将小表投影后传输给大表所在节点,减少网络传输;
  • Bloom Filter Join:用小表构建 Bloom 过滤器后传输,用于过滤大表;
  • 联合查询优化器:估算跨站点数据传输代价,选择数据"到"计算 vs 计算"到"数据。

命名与目录:分布式数据库需要全局命名服务(如 X.500、DNS、ZooKeeper)解析对象位置;命名支持别名与位置透明。


20.6 并行和分布式系统中的事务处理​

跨节点的事务需要保证原子性。经典方案 两阶段提交(2PC):

  1. 准备阶段(prepare):协调者向所有参与者发 prepare;参与者写 prepare 日志,回 vote-commit 或 vote-abort。
  2. 提交阶段(commit):若全部 vote-commit,协调者写 global-commit 日志并发 commit;否则发 abort。参与者收到后写对应日志并回 ack。

2PC 的消息流:

2PC 是阻塞协议:若协调者在准备后崩溃,参与者可能长时间不确定结果。改进方案:

  • 三阶段提交(3PC):加入 pre-commit 阶段,非阻塞但依赖同步网络假设。
  • 基于共识(Paxos/Raft)的复制状态机:日志经复制多数节点确认后再执行,用于实现高可用的协调者与副本一致性。Spanner、CockroachDB、TiDB 等都采用 Paxos/Raft。

2PC 的正确性依赖两个关键持久化点:

  • 参与者在返回 vote-commit 之前必须持久化 prepare 日志——否则崩溃后可能"反悔"。
  • 协调者在向任何参与者发出 commit / abort 之前必须持久化 global decision——否则可能出现"部分提交、部分中止"。

一旦这两个不变式建立,任何单点崩溃都可通过日志与消息重放恢复到一致的最终状态;协议的所有 corner case(消息丢失、超时、乱序、重发)都可归结为"某方持久状态尚未同步"。

并发控制在分布式环境中:

  • 分布式锁管理:集中式、主备式或分布式(如 Google Chubby、ZooKeeper);
  • 分布式时间戳:如 Google Spanner 的 TrueTime(提供物理时间不确定区间),CockroachDB 的 HLC(Hybrid Logical Clock)。

分布式事务的常见优化:

  • 提交管道化:将 prepare 与前一事务的 commit 消息合并,减小同步 RTT;
  • 共存优化(co-location):将频繁一起访问的数据分片放到同一节点,避免多站点参与;
  • Deterministic 数据库:如 Calvin,先在全局对事务定序,再本地并行执行,无需 2PC;
  • 两阶段锁 + Paxos 复制:Spanner 在每个分片内部用 Paxos 复制,跨分片事务用 2PC,事务时间戳由 TrueTime 保证外部一致性。

20.7 基于云的服务​

云计算把数据库能力打包成按需使用的服务,用户不必自备硬件与运维。

20.7.1 云服务模型​

按用户承担的抽象层次:

模型用户负责云厂商负责典型代表
IaaS(基础设施即服务)操作系统、数据库、应用;自行部署 DBMS虚拟机、网络、存储、数据中心AWS EC2 + EBS、阿里云 ECS
PaaS(平台即服务)数据模式、SQL / 应用逻辑数据库软件、备份、补丁、扩容Amazon RDS / Aurora、Azure SQL Database、Google Cloud SQL、阿里云 RDS
SaaS(软件即服务)只使用应用;不感知数据库应用、数据库、平台、基础设施Salesforce、Workday、Google Workspace

在数据库领域,PaaS 又细分为:

  • 托管关系数据库:厂商托管 MySQL/PostgreSQL/Oracle 兼容实例;
  • 云原生数据库:Aurora、Spanner、Cosmos DB、TiDB Cloud,从架构层面为云设计,计算与存储分离、按需扩容;
  • 数据仓库:Snowflake、BigQuery、Redshift,为分析工作负载优化;
  • Serverless 数据库:Aurora Serverless、DynamoDB On-Demand,按请求计费、自动伸缩到零。

20.7.2 云服务的优缺点​

优点:

  • 按需付费:把资本支出转为运营支出,避免过度采购;
  • 弹性扩缩:秒级到分钟级扩容,应对突发流量;
  • 高可用:跨可用区、跨区域复制由厂商提供;
  • 运维减负:备份、补丁、监控、故障切换由厂商负责;
  • 全球分布:借助厂商网络,实现跨大洲低延迟部署。

缺点与风险:

  • 供应商锁定:专有 API 与生态难以迁移;
  • 成本不可预测:流量激增、跨区流量费、出口带宽费;
  • 性能与隔离:多租户环境的邻居噪声(noisy neighbor);
  • 数据合规:数据出境、GDPR、行业监管;
  • 安全模型:需要理解共享责任模型,配置 IAM、加密、审计。

共享责任模型是理解云安全的关键:

层次IaaSPaaSSaaS
物理安全云厂商云厂商云厂商
网络与基础设施云厂商云厂商云厂商
操作系统补丁用户云厂商云厂商
数据库补丁用户云厂商云厂商
应用配置用户用户云厂商
数据加密与访问控制用户用户用户(部分)
用户身份管理用户用户用户

云原生数据库的三大关键设计模式:

  • 存算分离:计算节点无状态或近乎无状态,共享分布式存储层;扩容只需增计算节点,无需数据搬迁。Aurora、AlloyDB、PolarDB 皆属此类。
  • 日志即数据库(log-as-database):Aurora 将 WAL 视为"权威副本",存储层只需持久化日志并按需重建数据页,极大降低网络与 IO。
  • 多写点(multi-master)与全球一致:Spanner、Cosmos DB 用 Paxos 组或 CRDT 在跨大洲多副本间协调写;结合物理时钟(TrueTime)或逻辑时钟(HLC)提供外部一致性(linearizability with real-time order)。

20.8 总结​

  • 数据库系统体系结构从集中式演进到客户端/服务器、并行、分布式,直至云原生。
  • 共享内存 / 共享磁盘 / 无共享是并行架构的三种基本形态,现代大规模系统常采用层次组合。
  • 并行系统的性能由 speedup 与 scaleup 度量,倾斜、通信与协调是主要瓶颈。
  • 分布式系统必须在 CAP 与 PACELC 框架下权衡;跨节点事务借助 2PC 与 共识协议 实现。
  • 云数据库提供 IaaS / PaaS / SaaS 三种服务模型;Serverless 与云原生进一步降低运维负担、提高弹性。
  • 架构选型没有唯一答案,需结合负载特征、可用性 SLA、成本模型与运维能力综合决定。

各种体系结构对比:

维度集中式C/S共享内存共享磁盘无共享分布式云托管
通信无局域网内存总线SAN局域网广域网广域/局域
扩展垂直垂直有限中等高高弹性
一致性开销极低低硬件保证分布式锁事务协调CAP 权衡视产品
故障域单机服务器单机多节点每节点独立站点级由 SLA 决定
典型系统SQLiteOracle/MySQLPostgreSQL 多核Oracle RACVertica、Spanner跨行清算Aurora、Snowflake

方法论:在实际项目中,先从最简单可行的架构(往往是 PaaS 托管的单节点或读写分离)出发,仅当扩展性、可用性或延迟指标遭遇瓶颈时再引入更复杂的架构;每一次架构升级都是在**收益(吞吐/可用性/时延)与成本(工程复杂度/运维/费用)**之间做加减法。理解各种架构的取舍,就是理解数据库系统工程实践的核心。