计算机体系结构核心 20% — 把”为什么慢”算出来

一句话:性能只有一条主公式 时间 = 指令数 × CPI × 时钟周期,存储层次只有三个数字(寄存器 1 周期、L2 约 10 周期、内存约 200 周期)。抓住这两件事,就抓住了体系结构 80% 的实用知识。


🎯 这 20% 能解决哪些问题

常见困惑本质本页答案
主频高就一定快吗主频不进入唯一性能公式的分母判断见「一条性能公式」
循环顺序换一下为什么快 10 倍缓存行与访问局部性见「存储层次」
多线程加一倍核数没快一倍Amdahl 定律见「加速比上限」
分支预测失败的代价有多大流水线冲刷见「四种冒险」
数组遍历和链表遍历差在哪预取与局部性见「三条实用准则」
同一段逻辑,换个数据布局就快 3 倍SIMD 与指令级并行的前提条件见「指令集(ISA)」
读写共享内存时值为什么会旧内存序与缓存一致性见「多核与内存一致性」

一、一条性能公式

[ T = IC \times CPI \times \frac{1}{f} ]

符号含义谁能影响它
IC(指令数)执行了多少条指令编译器、算法、指令集
CPI每条指令平均周期数流水线、缓存命中率、分支
f时钟频率工艺、功耗预算

推论(考试与实际都常考):

  • 优化语言层面(如减少指令数)只影响 IC。
  • 优化内存访问模式影响 CPI,常比减指令更有效。
  • 提高主频受功耗墙限制:功耗 ∝ f × V²,频率涨 20% 可能功耗涨 40%。

二、指令集(ISA):软硬件的契约

ISA 是唯一同时被编译器、体系结构工程师和硬件描述语言尊重的接口:它定义了指令编码、寄存器、寻址方式与内存模型。同一份 C 代码在不同 ISA 上的快慢差异,本质上都是这张契约的差异。

维度CISC(x86)RISC(ARM/RISC-V)
指令长度变长(1–15 字节)定长(4 字节为主)
解码复杂度高,靠微码与翻译层低,流水级短而规整
寻址方式丰富,内存到内存Load/Store,只有读写指令能访问内存
典型强项二进制兼容、单指令干活多功耗低、核数多、生态可控
工程启发热点循环里变长指令会撑大解码窗口嵌入式控制、IoT、GPU/加速器均走 RISC 路线
概念必须记住的对性能的影响
寻址方式立即数/寄存器/直接/基址变址/间接变址寻址让数组访问降到 1 条指令,间接寻址多一次内存往返
条件执行与分支比较+跳转两条,或融合成一条分支融合、无分支 cmov 可避免预测失败代价
SIMDSSE/AVX/NEON 一次处理 4–16 个数据向量化常带 4–16 倍提升,前提是数据布局连续
指令级并行超标量每周期发射多条长依赖链会退化到 CPI 接近 1/并行度
原子指令LL/SC、CAS、内存屏障无它则多线程只能靠关中断;并发数据结构的地基
ABI寄存器约定、栈帧布局解释 FFI/跨语言调用开销,以及为何内联收益大

一句实用结论:向量化(SIMD)能生效的三个条件是——数据连续、无不可预测分支、长度对齐;所以 struct of arrays 比 array of structs 快,不偶然。


三、存储层次:先记住五个数

graph LR
    R["寄存器<br/>1 周期"] --> L1["L1 缓存<br/>4 周期"]
    L1 --> L2["L2 缓存<br/>12 周期"]
    L2 --> L3["L3 缓存<br/>40 周期"]
    L3 --> M["主存<br/>200 周期"]
    M --> D["SSD<br/>10 万周期"]
层次典型容量命中延迟关键机制
寄存器几百字节1 周期编译器分配
L132–64 KB4 周期缓存行 64 B
L2512 KB–2 MB12 周期组相联
L38–64 MB40 周期多核共享
主存8–512 GB200 周期预取、多通道

最有用的一个数字:缓存行 64 字节。一次访存会把相邻 64 B 一起搬进缓存——这解释顺序访问为什么快、struct 字段顺序为什么有讲究。


四、四种流水线冒险

冒险原因典型解决办法
结构冒险硬件资源冲突分开指令/数据缓存
数据冒险后一条依赖前一条结果转发(forwarding)、插入气泡
控制冒险分支结果未知分支预测、延迟槽
内存冒险访存顺序内存屏障、一致性协议

两个实用结论:

  1. 分支可预测时代价接近 0;预测失败约损失 15–20 个周期。
  2. 数据依赖链长(如累加求和)会限制指令级并行;拆成多个累加器即可提速。

五、加速比上限:Amdahl 定律

[ S = \frac{1}{(1-p) + p/s} ]

并行比例 p无限并行加速比上限
50%2×
80%5×
90%10×
95%20×
99%100×

实践含义:想把程序提速 10 倍,先找那 5% 无法并行的部分。优化串行部分比加核更划算。


六、缓存友好的三条准则

准则具体做法收益来源
顺序访问按行遍历二维数组(行主序语言)命中整条缓存行
数据紧凑热字段放一起、避免指针追逐减少缓存行浪费
分块矩阵乘按 32×32 分块提高 L1/L2 复用

反例:链表遍历每次跳指针 → 几乎每次都是缓存未命中,比数组慢 5–20 倍。


七、多核与内存一致性

概念一句话
缓存一致性多核各自缓存同一地址时,需协议(MESI)保证看到同一值
伪共享两个核改同一缓存行的不同变量,互相失效拖慢
内存序编译器与 CPU 都可能重排,跨线程共享需屏障

伪共享是新手最常踩的坑:多线程计数器数组放在连续内存,性能反而不如单线程。解决:按缓存行对齐填充。


🎓 实战场景(TIL)

  • 场景:二维数组按列遍历比按行遍历慢 8 倍。本质:列优先访问每次都跨行,摧毁空间局部性,预取失效。要点:行主序语言(C、numpy)永远外层走行、内层走列;必要时分块(tile)。
  • 场景:把 if (a[i] > 0) sum += a[i]; 改成 sum += a[i] > 0 ? a[i] : 0; 快了一倍。本质:循环里不可预测分支导致流水线冲刷(约 15–20 周期/次),无分支写法只多一个便宜指令。要点:热循环里的随机条件优先考虑无分支写法或先排序使分支可预测。
  • 场景:两个线程写同一缓存行的不同字段,性能比单线程还差。本质:伪共享,MESI 在该行上反复失效。要点:并发计数器/队列的 head、tail 按 64 字节对齐填充。
  • 场景:同一模型推理在 ARM 服务器上线程数减半反而更快。本质:超标量与 SIMD 已吃满内存带宽,额外线程只增加同步与缓存争用。要点:先测单线程向量化收益,再加并行;带宽饱和时减线程比加线程有效。

📋 一页速查

问题答案
唯一性能公式T = IC × CPI × 1/f
缓存行多大64 字节
内存延迟约 200 周期
分支预测失败代价约 15–20 周期
加速比上限由串行比例决定(Amdahl)
最便宜的提速手段改善访问局部性
SIMD 生效三条件数据连续 + 无随机分支 + 长度对齐
带宽怎么算频率 × 位宽 × 通道数(见总线与 IO)

🔗 相关链接

主题链接
上级 Hub计算机体系结构
同域下一课总线与 IO — 数据怎么在芯片之间流动
同域参考嵌入式与单片机 — 同一套原理在 MCU 上的具体形态
硬件基础概览硬件基础
GPU 并行计算GPU 并行计算核心 20%
芯片设计芯片设计核心 20%
量子计算量子计算核心 20%
算法与数据结构算法与数据结构
操作系统与进程模型操作系统 — 虚拟内存与页表