视频分析核心 20% — 视频 = 图像 + 时间，但代价是 30 倍
一句话：视频任务 80% 的工程决策发生在**“怎么抽帧”**这一步：每秒抽几帧决定了算力成本、时序可用性和精度上限。这个数定错，后面换模型都救不回来。
🎯 这 20% 能解决哪些问题
| 常见困惑 | 本质 | 本页答案 |
|---|
| 处理一路视频要多少算力 | 帧率 × 分辨率 × 模型成本 | 见「算力估算」 |
| 动作识别与目标检测有什么区别 | 是否需要跨帧聚合 | 见「三类时序建模」 |
| 跟踪 ID 老跳变 | 只做了检测没做关联 | 见「跟踪三件套」 |
| 视频理解模型效果怎么评 | 任务多样、指标不统一 | 见「评估的难点」 |
| 实时分析该用哪种架构 | 流式 vs 批量 | 见「流式与批量」 |
一、算力估算：先把乘法算对
| 参数 | 说明 |
|---|
| 帧率 | 抽帧率，不是源视频帧率 |
| 单帧成本 | 模型 FLOPs × 分辨率 |
| 路数 | 并行视频条数 |
| 冗余 | 留 30% 余量应对突发 |
示例：20 路摄像头、每路抽 5 fps、单帧推理 10 ms（含前后处理）→ 每秒需处理 100 帧 → 至少 1 张 GPU 满载（100 × 10 ms = 1 s）。
三个降本手段：降抽帧率、降分辨率（先缩到 640 再检测）、用轻量模型 + 关键帧复核。
二、三类时序建模
graph LR
A["帧级模型<br/>逐帧独立推理"] --> B["双流/3D CNN<br/>外观 + 运动"]
B --> C["视频 Transformer<br/>时空注意力"]
C --> D["视频-语言模型<br/>可问答可描述"]
| 方法 | 时序建模 | 优点 | 代价 |
|---|
| 帧级 + 后处理 | 无（靠平滑） | 最快、最易落地 | 无真正时序信息 |
| 双流 / 3D CNN | 局部时序 | 动作识别效果好 | 计算量大 |
| 时空 Transformer | 全局时序 | 精度最高 | 显存与数据需求高 |
| 视频-语言模型 | 语义级 | 可自然语言问答 | 慢、不可控 |
实践建议：安防/工业类需求 95% 用”帧级检测 + 规则 + 简单时序平滑”即可，不必上 3D 网络。
三、跟踪三件套
| 环节 | 作用 | 代表 |
|---|
| 检测 | 每帧找出目标框 | YOLO 系列 |
| 关联 | 把本帧框与历史轨迹匹配 | IoU + 匈牙利算法 |
| 预测 | 目标被遮挡时预测位置 | 卡尔曼滤波 |
| 算法 | 特点 | 适用 |
|---|
| SORT | 卡尔曼 + IoU 匹配 | 简单、快 |
| DeepSORT | 加外观特征 | 遮挡后重识别 |
| ByteTrack | 利用低分框二次关联 | 拥挤场景首选 |
ID 跳变的三个原因：抽帧太稀疏（目标位移超过匹配半径）、遮挡无重识别、检测置信度阈值过高导致漏框。
四、视频理解的评估难点
| 难点 | 说明 |
|---|
| 片段级标注 | 事件有起止时间，标注成本高 |
| 指标不统一 | 分类看 Top-1，检测看 mAP，描述看文本指标 |
| 时序容错 | 事件延迟 1 秒是否算错，需要业务定义 |
| 采样偏差 | 测试集常缺长尾场景（夜间、逆光、雨雪） |
实用做法：自建”事件级”验收集，标注事件的起止帧，用”事件命中率 + 平均延迟”两个指标验收。
五、流式与批量
| 维度 | 流式 | 批量 |
|---|
| 典型场景 | 实时告警、直播审核 | 内容归档、离线检索 |
| 延迟要求 | 秒级 | 分钟到小时级 |
| 架构要点 | 解码 → 抽帧 → 推理 → 跟踪 → 事件 | 分片并行 → 结果合并 |
| 主要难点 | 背压与丢帧策略 | 存储与任务调度 |
流式必须设计丢帧策略：当处理不过来时，是丢旧帧、跳帧，还是降分辨率。没有明确策略的系统会在高峰期雪崩。
六、视频生成的现实边界
| 指标 | 现状 |
|---|
| 时长 | 秒级到十几秒，长视频靠拼接 |
| 一致性 | 人物/场景跨镜头易漂移 |
| 可控性 | 首帧、关键帧、轨迹可控性逐步提升 |
| 成本 | 远高于图像生成，需按秒计费 |
落地建议：把视频生成当”素材生产工具”（片头、转场、分镜草稿），而不是”整片生成工具”。
七、存储与工程细节
| 项 | 建议 |
|---|
| 解码 | 用 GPU 硬解（NVDEC）而非 CPU 软解 |
| 关键帧 | 只存关键帧与事件片段，原视频按策略滚动删除 |
| 时间戳 | 统一用 UTC + 帧号双记录，避免漂移 |
| 元数据 | 每帧结果写入时序库，便于检索 |
| 隐私 | 人脸/车牌默认脱敏存储 |
📋 一页速查
| 问题 | 答案 |
|---|
| 算力怎么估 | 抽帧率 × 路数 × 单帧耗时 |
| 最有效的降本手段 | 降抽帧率与分辨率 |
| 跟踪三件套 | 检测 + 关联 + 卡尔曼预测 |
| 拥挤场景首选跟踪器 | ByteTrack |
| 事件怎么验收 | 事件命中率 + 平均延迟 |
| 流式必备设计 | 丢帧策略与背压 |
🔗 相关链接