背景训练集
三位背景说话人,共 288 帧。把特征汇总,用 EM 训练一个共享的 GMM,称为 UBM。
EM 不使用说话人身份标签。用许多人的语音学一张背景地图,再用少量注册语音
做个性化微调。最后,不只问“像不像他”,还问“比背景更像多少”。
这里每个点是一帧二维声学特征,
不是上一节“一整段语音的 embedding”。
三位背景说话人,共 288 帧。把特征汇总,用 EM 训练一个共享的 GMM,称为 UBM。
EM 不使用说话人身份标签。目标 S 不在背景说话人中。保留 UBM 的结构,用 S 的独立注册帧做 MAP 均值自适应。
生成 S 专属 GMM,不改动 UBM。同一份测试特征同时送入 S 的 GMM 和 UBM。比较两边的对数似然,形成似然比分数。
测试语音不参与注册和模型训练。一个分量描述一团声学特征;一个人能产生多团特征,同一分量也会被不同人的帧使用。UBM 是一个共享混合模型,不是“先找一人一个高斯”。本页画三个分量是为了看清计算,不代表真实系统只需要三个。
本页用固定种子的二维模拟声学特征解释算法,不录音、不上传,不声称是真实 MFCC 数据或识别性能评测。背景、注册、测试数据分别生成,测试数据从不用于训练。椭圆和打分都使用完整二维对角协方差模型。
E 步:每帧对每个分量分一点“票”。
M 步:按这些软票数更新参数。
默认颜色是分量的软职责混色。切换来源颜色只改变显示,EM 没有读入这些身份。坐标始终固定,椭圆为 1σ / 2σ。
后续注册和打分使用这个快照。继续预览 EM 不会悄悄改掉已采用的 UBM;再次点击“采用”才会替换。
这里演示常用的 mean-only MAP:
只更新均值,保留混合权重和方差。
蓝灰小点是已纳入的注册帧,更浅的点尚未纳入。连线表示从 UBM 到 MAP 的真实参数移动,橙圈标出右侧正在检查的分量。不是整体平移,也不是把所有分量拉向一个“说话人中心”。
看被覆盖的分量与几乎没被覆盖的分量,各自移动多少;再把 r 从 16 拉到 0 和 64。r 大时更保守,r = 0 时有数据的分量直接采用注册经验均值,但这不等于更能泛化。未覆盖不一定得到精确零职责,高斯尾部仍可能贡献极小的软计数。
一段测试语音,两份模型同时解释。
比较整段似然,而不是寻找状态路径。
这里只改变所用的测试前缀,模型参数不变。测试场景的生成身份只用于课堂核对,不输入评分公式。
某帧可能在两个模型下密度都很高,却不特别支持 S。LLR 衡量相对证据。这里用平均 LLR 作演示判定;τ = 0 只是起始设置,不是通用最优阈值,实际系统需用独立开发集、先验与代价校准。
| 阶段 | 数据与已知信息 | 真正改变什么 | 不能混淆 |
|---|---|---|---|
| UBM 训练 | 许多背景人的声学帧,特征汇总。 | EM 估计共享 GMM 的 w、μ、Σ。 | 高斯分量不是说话人类别;EM 不需要身份标签。 |
| 说话人注册 | 目标 S 的注册语音,知道它属于 S。 | 以冻结 UBM 为先验,按分量软统计做 MAP;本页只适配均值。 | 不是用测试语音继续训练,不是无先验地重训 GMM。 |
| 验证打分 | 新的待测语音,以及被声明的目标身份 S。 | 不改变模型;计算目标 GMM 与 UBM 的对数似然差。 | 输入声明身份,不输入测试的真实身份;判断仍可能错。 |
| 校准与评测 | 独立开发 / 评测试验列表与真实标签。 | 选择阈值、校准分数并统计误接收、误拒绝等。 | 本页模拟场景不是 EER 评测,默认阈值不代表部署设置。 |
本页用 UBM 计算一次职责并更新均值;w、Σ 不变。一般框架也可以适配权重和方差,不应把“mean-only”误当成 MAP 的全部定义。零有效计数时保留原分量。
模型采用帧条件独立近似;实际帧可能有相关性。平均分削弱长度尺度影响,不表示时长不影响可靠性。复制同一段数据不产生独立证据,不能用复制来声称判断更可靠。
GMM–HMM 中各声学状态有分布,还要按顺序搜索状态路径。这里一个说话人对应一整套 GMM,用帧分布描述声学特征,不进行单词解码。固定帧集合整体打乱顺序,完整 GMM–UBM 分数不变。
不是。UBM 来自所选背景人群、语音和信道,代表性仍然有限。背景数据失配会影响系统,不能把一个模型理解成完全正确的“不是此人”分布。
不一定。短注册语音、声学覆盖不足或噪声可能让经验估计不稳。r 控制数据证据与背景先验的折中,不是优化的学习率,也不是验证阈值。
自适应保持分量对应关系。覆盖充分的区域可做个人化调整,数据不足的区域保留背景信息;而各自从头训练容易在少量数据上过拟合,分量也不再有自然对应。
可以把适配均值按固定分量顺序拼接成 GMM supervector,后续方法再对说话人 / 会话变化建模或学习低维表示。神经网络 embedding 通常直接把整段语音映射成向量,不能把这里的一帧点和上一页的整段 embedding 混成同一个东西。
本页为固定种子的二维模拟特征、三个对角协方差高斯。训练采用实际 EM,M 步方差下限为 0.04;MAP 使用冻结 UBM 的一次软分配和均值更新。打分在对数域使用 log-sum-exp,所有三个分量都参与,不使用 top-N 近似。背景 288 帧、注册最多 160 帧、基础测试段 48 帧,三者分别生成,无真实录音或声纹信息。
权威来源:Reynolds、Quatieri、Dunn:Speaker Verification Using Adapted Gaussian Mixture Models(2000),论文 PDF。本页在原框架下采用 mean-only 的教学简化,不展示声学前端、VAD、信道补偿、分数归一化或真实验证性能。