A-Softmax 为什么不能直接画 cos(mθ)？
θ 增大意味着离目标更远，目标分数不应该反而升高。直接 cos(mθ) 会来回振荡。SphereFace 使用：
ψ(θ) = (−1)ᵏ cos(mθ) − 2k
θ ∈ [kπ/m, (k+1)π/m]，k = 0,…,m−1。原始训练还使用退火式混合改善优化；本页展示固定 m 的纯目标，不模拟该退火过程。
SPEAKER MODELING / 从分类走向验证
不只是分对。
还要「离得更开」。
一句话提取一个向量。训练时认识有限的说话人，
验证时，却要比较从未见过的人。
声音 → embedding→角度 → 间隔→相似度 → 验证
课堂路线 · 约 20 分钟① 看长度与角度 → ② 比较四种规则 → ③ 播放真实梯度更新 → ④ 把训练和验证分开
01 / 先别急着加 margin
Softmax 看的是分数，
分数里不只有角度。
输入是整段语音的 embedding，不是某一帧。
分类头的 W 是可学习权重，不是某段注册语音。
一段预设语音的概念“今天天气不错”
→语音编码器 + 池化真实网络通常输出数百维
→说话人向量 x本页用二维方向来解释几何
→训练分类头分数 → Softmax → 交叉熵
同一个方向，长度也会影响分数。橙点是 x；绿 / 蓝是 W 方向。
同一向量，比较两个设置
普通分类，与只比较方向。
zⱼ = Wⱼᵀx + bⱼ = ‖Wⱼ‖ ‖x‖ cos θⱼ + bⱼ
归一化比较：zⱼ = s · cos θⱼ
右下使用固定 s = 16，权重和特征都归一化。改变原向量长度、权重长度或偏置，不会改变这组方向分数。
先做这个实验
保持方向，拉长 x。普通 Softmax 的概率会变；归一化分数不变。注意：在等长权重、无偏置的特殊情况下，长度会改变概率，但不改变最大分数的类别。
这是几何原理实验：没有录音、上传或真实语音编码器。后面四种方法都固定 ‖x‖ = s、归一化 W、去掉偏置，以便单独比较 margin；这不代表普通 Softmax 天生包含这些约束。
02 / 相同样本，相同对手
只改正确类别那一项，
让“分对”变得更严格。
一键课堂例子：
A 类训练时自己能赢的方向B 类训练时自己能赢的方向两类都还不够“稳”的间隔带当前样本
灰色间隔带不是“未知说话人拒识区”。
它是把“标签是 A”和“标签是 B”两套训练要求叠在一起的图；两侧边界来自不同的真实标签条件。推理没有真实标签，不使用这种 label-dependent margin。
四种目标分数随 θ 怎样变化？未乘 s；非目标类始终是 cos θ。
灰 = Softmax，金 = A，橙 = AM，紫 = AAM；选中方法加粗。紫色尾部阴影标出 AAM 的保护分支。
点选一张卡片，放大它的计算
统一损失：L = −log P(y | x) = log Σⱼ exp(zⱼ) − zᵧ。
m、m꜀、mₐ 的单位和含义不同，同一个数字并不代表同样强的约束。
m、m꜀、mₐ 的单位和含义不同，同一个数字并不代表同样强的约束。
03 / 不是预先画好的“收缩动画”
给相同的初始点，
让损失真的推动它们。
每个点是一条语音的二维单位向量。
分类头固定，只优化样本方向。
0 次更新
观察“变化”，不要只比较四个损失数值的大小。
看每种方法自己的损失是否下降、类内平均偏角是否减小、两类最近样本的角距怎样变化。四种目标的难度不同，损失更小不等于说话人验证更好。
这是实际优化交叉熵的二维自由向量实验：中心差分估计角度梯度，回溯步长保证各自损失不增，不是训练语音编码器。点可以独立移动，权重固定；实际网络参数共享，并受数据、噪声和优化影响。“类内平均偏角”指样本与所属类别权重方向的平均夹角，不是类内方差。margin 提供约束趋势，不保证所有类都能理想分离。改动上方训练参数会重置本实验，确保四种方法从相同起点开始。
04 / 开集说话人验证
训练时问“你是谁”，
验证时问“是不是同一个人”。
真实部署通常比较 embedding，
不用训练说话人的 Softmax 概率当验证分数。
训练语音 + 训练集说话人标签
→学到 embedding 提取器分类头完成训练使命
→注册 / 测试语音可以是训练时没见过的人
→相似度 + 验证阈值阈值由独立开发集校准
只比较两条语音，不输入真实说话人标签
score = e₁ᵀe₂ / (‖e₁‖ ‖e₂‖) = cos Δθ
margin m ≠ 验证阈值 τ
m 改变训练时的目标 logit，促使网络学习更有区分度的表示；τ 在验证时决定相似度多大才接受。不能把 m = 0.2 当成“相似度超过 0.2 就是同一个人”。
这里用另一组独立二维向量说明验证接口；不是前面四种损失训练结果的真实验证评测。接近的方向也不能证明现实中确实是同一个人。实际系统还可能使用 PLDA、分数归一化与校准等后端。
05 / 回到公式与工程
四种方法，
改的是同一个分类接口。
Softmax 是概率变换；这里比较的是
它前面的 logit 设计与对应的交叉熵目标。
| 方法 | 目标类 logit | 非目标类 logit | 直觉与注意 |
|---|---|---|---|
| 普通 Softmax | Wᵧᵀx + bᵧ | Wⱼᵀx + bⱼ | 长度、方向与偏置都可能影响分数。 |
| 归一化 Softmax 本页比较基准 | s cos θᵧ | s cos θⱼ | 统一方向空间；不额外加 margin。 |
| A-Softmax SphereFace | ‖x‖ ψ(θᵧ) 本页固定 ‖x‖ = s | ‖x‖ cos θⱼ | 主区间乘角度：cos(mθ)。完整 ψ 需要分段单调延拓；m 为正整数。 |
| AM-Softmax CosFace 类形式 | s (cos θᵧ − m꜀) | s cos θⱼ | 在余弦值上减一个固定量，m꜀ 无量纲；其角度间隔不是处处固定。 |
| AAM-Softmax ArcFace 类形式 | s cos(θᵧ + mₐ) 正常角度工作区 | s cos θⱼ | 直接加角度，mₐ 用弧度；本页对极端角度使用明确标注的单调尾部保护。 |
AAM 尾部怎么处理？
θ + mₐ 超过 π 后，直接 cos(θ + mₐ) 会回升。本页采用 SpeechBrain 的 easy_margin=false 风格：
θ < π − mₐ：cos(θ + mₐ)
否则：cos θ − mₐ sin mₐ
否则：cos θ − mₐ sin mₐ
保护分支不是另一条 margin 公式，且阈值处一般存在小跳变。常规两类短弧对照不进入该分支；曲线图会用尾部阴影标出它，不冒充原始公式的全域行为。
s 到底做了什么？
所有 logit 乘相同正数不改变 argmax 边界，但会改变概率的尖锐程度、交叉熵以及梯度。s 不是 margin，也不是说话人验证阈值。
“分类头权重”就是注册说话人的平均向量吗？
不是。W 是通过训练学习的分类参数，方向可作为类原型来理解，但不等于某条训练语音，更不等于部署时的注册向量。真实说话人验证可丢弃这个训练分类头。
训练时为什么故意降低正确类别的分数？
固定 x 和 W 时，margin 会降低正确类概率、提高损失；优化器因此需要把表示学得更有区分度。不是“加 margin 后同一特征立即更准确”，而是改变学习要求。
m 越大越好吗？AAM 一定比 AM 好吗？
都不能这样推断。过大的 margin 会让优化困难或约束不可满足；性能依赖训练数据、编码器、采样、尺度、噪声、后端和评测条件。本页只比较受控几何与目标函数，不给真实 EER 排名。
从人脸论文来的损失，为什么能用于说话人？
两者都需要学到可比较的身份 embedding，尤其要泛化到训练集之外的新身份。损失可以迁移，但声音编码器、数据增强、时长、信道等问题仍需单独解决。
教学边界、公式来源与离线使用
二维向量、两类分类头与自由点优化用于解释几何，不是 speaker encoder 训练、真实声音数据或 EER 实验。全部数值在浏览器中实时计算；不采集录音。原始 Softmax、归一化 Softmax、SphereFace、AM 与 AAM 的约束并非完全相同，本页在共同尺度下控制变量，不把它们伪装成相同训练配方。
- Liu 等，SphereFace，CVPR 2017：A-Softmax 与分段角度函数。
- Wang 等，Additive Margin Softmax，2018：余弦域的加性 margin。
- Deng 等，ArcFace，CVPR 2019：加性角度 margin。
- Huang、Wang、Yu，Angular Softmax for Short-Duration Text-independent Speaker Verification，Interspeech 2018：说话人验证应用。
- SpeechBrain losses 源码：AM / AAM 与单调尾部保护的实现约定。