SAIL · PRLab @ NJU← 返回第 5 次课
INTELLIGENT SPEECH TECHNOLOGY · FALL 2026 · LECTURE 5

从「每帧打分」,到「整句学习」。

第 5 次课 · 2026 年 10 月 9 日 · Advanced Automatic Speech Recognition
先看懂 GMM–HMM,再看 DNN 换掉哪里,最后理解 CTC 怎样处理未知的时间对齐。

01 GMM–HMM · 状态与路径→02 DNN–HMM · 更换声学模型→03 CTC · 序列级对齐与学习

三个演示,按顺序探索。

全部在本课程网站运行,无需登录外部演示平台。

01 / 先看完整流程

GMM–HMM

一句“开灯”,怎样从声音变成状态路径,再变成文字?

  • 预设语音 → 分帧与 MFCC
  • 每个状态自己的 GMM,同时给一帧打分
  • HMM 转移、自循环与 Viterbi 解码
打开 GMM–HMM 演示 →
02 / 只换一个模块

DNN–HMM

六套 GMM 换成一个共享 DNN,为什么 HMM 仍然在?

  • 同一帧:GMM 与 DNN 并排打分
  • 状态后验 → 先验校正 → 比例似然
  • 保留同一套状态、转移和路径搜索
打开 DNN–HMM 对照 →
03 / 对齐未知,也能学习

CTC

只知道整句说了什么,不知道每个字出现的时间,怎么训练?

  • blank、重复折叠与多条有效路径
  • 路径概率求和与前向递推
  • 区分老师答案、学习更新与识别结果
打开 CTC 原理实验 →