内存管理与堆栈
C 是手动内存管理的语言。理解进程的内存布局、栈与堆的差异、malloc/free 的语义、常见的内存 bug 与检测工具,是写出健壮 C 程序的前提。
一、进程虚拟内存布局
一个典型的 Linux ELF 可执行程序运行时,虚拟地址空间大致划分为:
| 段 | 内容 | 权限 |
|---|---|---|
.text | 代码 | r-x |
.rodata | 只读数据(字符串字面量、const) | r-- |
.data | 已初始化的全局/静态变量 | rw- |
.bss | 未初始化的全局/静态变量(启动时清零) | rw- |
| Heap | malloc/sbrk/mmap | rw- |
| Shared libs / mmap | 动态链接库、内存映射文件 | 视情况 |
| Stack | 函数栈帧 | rw-(+ NX) |
查看方式:
cat /proc/<pid>/maps # Linux 进程地址空间
size a.out # 静态段大小
readelf -S a.out # 详细段信息
二、栈(Stack)
特点
- 自动分配:函数进入时分配栈帧;返回时自动释放。
- LIFO:后进先出。
- 快:只是移动
rsp寄存器。 - 有限:Linux 默认 8 MB(
ulimit -s),Windows 通常 1 MB。 - 不可回收 padding 或碎片——一切随函数返回自动释放。
存放什么
- 函数参数(超出寄存器的部分)
- 局部变量(automatic 存储期)
- 返回地址、保存的寄存器
- VLA 数组
栈溢出
深递归、超大 VLA、超大局部数组都会耗尽栈:
void f() {
char buf[8 * 1024 * 1024]; // 8 MB,可能直接崩
...
}
Stack Canary(-fstack-protector)在返回地址前插入随机数,检测栈缓冲区溢出。
三、堆(Heap)
特点
- 手动分配 / 释放:
malloc/free。 - 大:受虚拟内存限制(TB 级)。
- 慢:涉及分配器逻辑、系统调用。
- 可碎片化:分配/释放模式不当会产生外部碎片。
底层机制
malloc 从 堆区 或 mmap 区 取内存:
- 小块:从堆区 (通过
brk/sbrk扩展 program break)。 - 大块(通常 > 128 KB):直接
mmap匿名映射一片区域,free时munmap返还系统。
glibc ptmalloc2 的核心数据结构:
- arena:多线程各自一个,减少锁竞争。
- fastbins:小块(≤ 64 字节)快速回收。
- smallbins:固定大小(≤ 1024 字节)。
- largebins:大块,按大小排序。
- unsorted bin:新释放的块暂存。
四、malloc / free / calloc / realloc
malloc
void *malloc(size_t size);
- 分配
size字节,返回起始地址;内容未初始化(含垃圾数据)。 - 失败返回
NULL。 size == 0:行为实现定义(可能返 NULL,可能返可以传给 free 的非空指针)。- 保证返回地址满足最严格的对齐要求(
_Alignof(max_align_t),通常 8/16 字节)。
calloc
void *calloc(size_t nmemb, size_t size);
- 分配
nmemb * size字节;初始化为 0。 - 内部会检查乘法溢出。
- 大内存分配时
calloc由于 lazy zeroing(配合mmap),实际比malloc + memset快。
realloc
void *realloc(void *ptr, size_t new_size);
- 调整已有块大小,可能原地扩容,也可能分配新块并拷贝旧数 据。
- 返回值可能与
ptr不同!必须用返回值。 ptr == NULL时等价malloc(new_size)。new_size == 0时行为实现定义(C23 明确 UB,避免)。
惯用法:
void *tmp = realloc(buf, new_size);
if (!tmp) {
// 处理失败:buf 仍然有效
return -1;
}
buf = tmp;
反例:
buf = realloc(buf, new_size); // ✗ 若失败,原 buf 泄漏
free
void free(void *ptr);
- 释放先前
malloc/calloc/realloc返回的地址。 free(NULL)是安全的空操作。- 释放非法地址、二次释放 → UB / 崩溃 / 漏洞。
五、其他分配 API
aligned_alloc (C11)
void *p = aligned_alloc(64, 1024); // 64 字节对齐
free(p);
alignof(p) >= 64。用于 SIMD、cache line 对齐。
posix_memalign (POSIX)
void *p;
if (posix_memalign(&p, 64, 1024) != 0) { ... }
同上,早于 aligned_alloc。
alloca (GCC 扩展)
void f(size_t n) {
void *p = alloca(n); // 在栈上分配,函数返回时自动释放
}
危险:n 过大→栈溢出;alloca 返回后不能用;VLA 更标准化。
全局大对象
static char big_buffer[1 << 20]; // 1 MB,位于 .bss
启动时清零,无需 malloc。适合固定大小的缓冲区。
六、内存 bug 全景
6.1 内存泄漏(Memory Leak)
分配了但没释放:
void f() {
int *p = malloc(100);
return; // ✗ 泄漏
}
检测:Valgrind、ASan、_CrtDumpMemoryLeaks(Windows)。
修法:明确所有权,遵循 "who allocates, releases"。
6.2 悬垂指针(Dangling Pointer)
指向已释放对象的指针:
int *p = malloc(4);
free(p);
*p = 42; // ✗ UAF(Use-After-Free)
修法:free(p); p = NULL; 或使用引用计数。
6.3 二次释放(Double Free)
free(p);
free(p); // ✗ 破坏堆管理结构
修法:释放后置 NULL。free(NULL) 是空操作。
6.4 越界访问(Out-of-Bounds)
int *arr = malloc(10 * sizeof(int));
arr[10] = 0; // ✗ 溢出
检测:ASan(-fsanitize=address)、Valgrind。
6.5 未初始化读取
int *p = malloc(4);
printf("%d\n", *p); // ✗ 内容是垃圾
修法:用 calloc 或显式 memset。
6.6 内存/资源类型误用
- 用
free释放new分配的(跨 C/C++)→ UB。 - 用
fclose关闭非 FILE*、close关闭非 fd → UB。
6.7 内存越界写触发堆溢出
经典漏洞类型:写堆块的元数据 → 修改分配器状态 → 任意代码执行。
七、检测工具
Valgrind Memcheck
valgrind --leak-check=full --show-leak-kinds=all ./a.out
- 慢(10-50x)
- 检测泄漏、越界、未初始化、错误 free
- 无需重编译
AddressSanitizer (ASan)
gcc -fsanitize=address -g prog.c
./a.out
- 快(2-3x)
- 需重编译
- 检测越界、UAF、双释放、栈溢出
UndefinedBehaviorSanitizer (UBSan)
gcc -fsanitize=undefined -g prog.c
检测有符号溢出、shift 越界、空指针解引用等 UB。
MemorySanitizer (MSan)
检测未初始化内存读取(Clang only)。
电子围栏(Electric Fence)
老工具,把每次 malloc 放到独立的 mmap 页,越界立即 SIGSEGV。
八、常见惯用法
8.1 分配 + 检查 + 释放
T *p = malloc(sizeof *p);
if (!p) return -1;
// use p
free(p);
p = NULL;
8.2 数组分配
size_t n = 100;
int *arr = malloc(n * sizeof *arr);
注意乘法溢出:calloc(n, s) 会检查;手写 malloc(n*s) 不会。
8.3 二维数组
方案 A:连续内存 + 手动索引
int *mat = malloc(R * C * sizeof(int));
mat[i * C + j] = v;
方案 B:数组的数组
int **mat = malloc(R * sizeof(int *));
for (int i = 0; i < R; i++)
mat[i] = malloc(C * sizeof(int));
// 释放要反向
方案 A 更快(缓存友好,一次 malloc)。
8.4 灵活数组成员
typedef struct {
size_t len;
char data[];
} Buffer;
Buffer *b = malloc(sizeof(Buffer) + 100);
b->len = 100;
一次 malloc 分配头部 + 数据,释放也一次。
8.5 对象池 / Arena
预分配大块,内部快速切片:
typedef struct {
char *base;
size_t cap, used;
} Arena;
void *arena_alloc(Arena *a, size_t n) {
if (a->used + n > a->cap) return NULL;
void *p = a->base + a->used;
a->used += n;
return p;
}
- 分配 O(1)。
- 无法单独释放,只能整体重置。
- 减少碎片,避免 malloc/free 开销。
- 广泛用于 nginx、LuaJIT、编译器等。
九、内存对齐
为什么要对齐
- 性能:CPU 一次读 8/16/64 字节;未对齐可能需要两次访问。
- 正确性:某些架构(ARM、MIPS)禁止未对齐访问,硬件异常。
对齐查询与强制
#include <stdalign.h>
_Alignof(int) // 通常 4
_Alignas(64) char cache_line[64]; // 强制 64 字节对齐
posix_memalign(&p, 64, 1024);
SIMD 需求
SSE 要求 16 字节对齐;AVX 要求 32;AVX-512 要求 64。
十、内存屏障与可见性
见 [[17-C11多线程与原子]]。简单说:多线程下修改内存需要 原子操作 或 同步原语,否则其他线程可能看到旧值。volatile 只禁编译器优化,不足以做线程同步。
十一、堆分配器演进
| 分配器 | 特点 | 使用场景 |
|---|---|---|
| ptmalloc2 (glibc) | 通用,多线程 | Linux 默认 |
| tcmalloc | Google,线程缓存 | 高并发服务 |
| jemalloc | Facebook,低碎片 | Redis、Rust 默认 |
| mimalloc | Microsoft,快 | 现代应用 |
| bump allocator | 只增不减,快 | 短生命周期 |
| slab allocator | 同大小对象 | 内核 |
十二、实践建议
- 首选栈分配:小对象、生命周期确定用栈。
- 明确所有权:谁分配谁释放;跨函数用文档标注。
free后置NULL:避免悬垂/双释放。calloc优于malloc + memset:清晰、可能更快。- 重视
realloc返回值:失败时原指针仍有效。 - 配合工具:日常开发用 ASan+UBSan,CI 用 Valgrind。
- 避免过度小对象:批量分配(arena)比逐个 malloc 快得多。
- 不要混用分配器:C 的 free 不能配 C++ new,反之亦然。
十三、总结表
| 需求 | 用什么 |
|---|---|
| 短生命周期、小对象 | 栈 |
| 需要动态大小 | 堆 (malloc) |
| 全局固定缓冲区 | static / .bss |
| 需要清零 | calloc |
| 调整大小 | realloc |
| 对齐要求 | aligned_alloc / posix_memalign |
| 变长数组 | VLA / alloca |
| 大量同类对象 | Arena / 对象池 |
| 与硬件交互 | mmap |