统计推断

核心观点:统计推断是从样本数据推断总体特征的方法,是数据分析和机器学习的核心。

🎯 这 20% 能解决哪些问题

你遇到的困惑本质原因马上能改的动作
p=0.049 就宣布胜利,复现又失败把 p 值当效应大小,且踩了多重比较报效应量 + 置信区间;跑多个指标时用 Bonferroni/BH 校正,并预留验证集
实验不显著就结论「没差别」不拒绝 H₀ ≠ 接受 H₀先看检验功效 1-β;样本不够时「不显著」只能读作「未测出」
转化率报了点估计没区间只看 MLE,不看标准误所有指标都带 95% CI:p̂ ± 1.96√(p̂(1-p̂)/n),区间宽度就是结论强度
交叉验证各折分数不一致小样本方差不稳均值用 t 区间(s/√n,自由度 n-1);方差比较用 χ²/F,非正态用 Bootstrap
损失函数为何选交叉熵或 MSE不知道损失函数的统计身份记住:最小化交叉熵 = 最大化似然 = 最小化 KL;正则项 = 先验(L2 ⇔ 高斯先验)
指标看起来好了但不敢确定没有控制第一类错误先定 α 与停止规则再开实验,禁止「看到显著就停」(偷看会把假阳率顶上去)
A/B 分流不均衡导致结论作废分组非独立同分布检查 SRM(样本比例失配):用卡方检验对比预期分流比,不平先修链路再看效果

📊 统计推断框架

graph TB
    subgraph 统计推断
        A1["参数估计<br/>点估计/区间估计"]
        A2["假设检验<br/>判断假设真伪"]
        A3["回归分析<br/>变量关系"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🎯 点估计

点估计方法

方法原理优缺点
矩估计样本矩=总体矩简单但不一定最优
最大似然估计使似然函数最大最优但计算复杂
贝叶斯估计后验众数/均值融合先验信息

估计量性质

graph TB
    subgraph 估计量性质
        A1["无偏性<br/>E(θ̂) = θ"]
        A2["有效性<br/>方差最小"]
        A3["一致性<br/>θ̂ → θ"]
        A4["充分性<br/>包含全部信息"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

最大似然估计

步骤内容公式
1. 构造似然函数所有样本联合概率L(θ) = ∏P(xᵢ|θ)
2. 对数似然取对数简化计算l(θ) = ∑logP(xᵢ|θ)
3. 求导最大化令导数为0∂l/∂θ = 0

📐 区间估计

置信区间

概念公式意义
置信区间[θ̂₋, θ̂₊]参数可能范围
置信水平1-α包含真值的概率

常用置信区间

graph TB
    subgraph 置信区间
        A1["均值<br/>X̄ ± zₐ/₂σ/√n"]
        A2["方差<br/>χ²分布"]
        A3["比例<br/>p̂ ± zₐ/₂√(p̂(1-p̂)/n)"]
    end    
    A1 & A2 & A3
    
    style A1 fill:#ffebee

🧪 假设检验

检验步骤

步骤内容说明
1. 建立假设H₀ vs H₁原假设/备择假设
2. 选择统计量检验统计量t检验、χ²检验
3. 确定拒绝域临界值显著性水平α
4. 做出决策拒绝/不拒绝p值判断

常见检验

graph TB
    subgraph 假设检验
        A1["t检验<br/>均值检验"]
        A2["χ²检验<br/>方差/独立性"]
        A3["F检验<br/>方差齐性"]
        A4["非参数检验<br/>秩和检验"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

第一类与第二类错误

错误类型定义概率
第一类错误拒绝真H₀α(显著性水平)
第二类错误接受假H₀β
检验功效1-β正确拒绝H₀的概率

🤖 机器学习应用

模型选择

graph TB
    subgraph 统计检验应用
        A1["过拟合检测<br/>交叉验证"]
        A2["模型比较<br/>t检验、F检验"]
        A3["特征选择<br/>假设检验"]
        A4["显著性分析<br/>p值"]
    end    
    A1 & A2 & A3 & A4
    
    style A1 fill:#ffebee

A/B测试

步骤内容方法
设计随机分组实验设计
采集收集数据样本量
分析假设检验t检验、卡方检验
决策是否显著p值<α

🎯 核心结论

统计推断核心概念

  1. 点估计:给出参数的单一估计值
  2. 区间估计:给出参数的可能范围
  3. 假设检验:判断假设的真伪
  4. p值:观察到的结果至少如实际极端的概率
  5. 置信水平:重复实验中包含真值的比例

学习路径

统计推断学习四步骤:
1. 点估计:矩估计、MLE
2. 区间估计:置信区间
3. 假设检验:t检验、χ²检验
4. 应用:A/B测试、模型选择

🎓 实战场景(TIL)

场景现象用统计推断的哪一点
看板指标可信度小流量分组涨跌剧烈被当成趋势比例型置信区间:基数小的组区间宽,图上必须带误差条或用经验贝叶斯平滑
多指标同时看20 个指标里总有 1 个 p<0.05多重比较:α 需除以比较次数(Bonferroni)或用 FDR(BH)控制
样本量不够的实验只能测出 10% 以上的差异功效分析:n ∝ σ²/(δ²),想测出 1% 相对提升比测 10% 多 100 倍样本
模型选型A 模型在测试集高 0.2% 就换配对比较:同批数据用配对 t 检验或 McNemar,看差值区间是否跨过 0
超参搜索最优配置是噪声里选出来的胜者诅咒:挑最大值天然高估,需用独立验证集重测候选 Top-K
流失率估计小样本比例算出来偏差大用 Wilson 区间代替 Wald 区间(p̂ ± z√(p̂(1-p̂)/n)),小样本/极端比例下更稳

📋 一页速查

要什么记这一行
置信区间(均值)X̄ ± z_{α/2}·σ/√n;σ 未知用 t:X̄ ± t_{α/2,n-1}·s/√n
置信区间(比例)p̂ ± z_{α/2}√(p̂(1-p̂)/n);小样本用 Wilson
95% 的真解释重复抽样时区间覆盖真值的比例;不是「真值落在此区间的概率」
p 值定义H₀ 为真时,观察到至少如此极端结果的概率;小 ⇒ 与 H₀ 不相容,不代表效应大
两类错误假阳 α(拒真 H₀);假阴 β(采假 H₀);功效 = 1-β;α↓ 则 β↑
检验选型单均值:t;两均值:配对/独立 t;比例差:z;计数独立性:χ²;方差齐性:F;非正态小样本:Bootstrap/秩和
MLE 三步似然 L(θ)=∏P(xᵢ|θ) → 取对数变求和 → 求导置零(或数值优化)
损失与分布MSE ⇔ 高斯噪声 MLE;交叉熵 ⇔ 伯努利/多项 MLE;L2 ⇔ 高斯先验 MAP;L1 ⇔ 拉普拉斯先验
样本量估算n ≈ (z_{α/2}+z_β)²·σ²/δ²;比例型代 σ² = p(1-p)

🔗 相关链接


📚 参考文献

  1. 《概率论与数理统计》- 浙江大学
  2. 《统计学习方法》- 李航
  3. 《统计学》- 贾俊平
  4. 《统计推断》- Casella
  5. 《All of Statistics》- Larry Wasserman
  6. 《Introduction to the Practice of Statistics》
  7. 《统计学方法》
  8. 《假设检验》