设备端语音处理技术解析
系统架构
设备端自动语音识别(ASR)模型接收语音信号后，输出按概率排序的识别假设集合。这些假设以格(lattice)结构表示——图中的边代表识别词汇及其转移概率。
相比云端ASR需要传输音频片段，设备端仅需向云端发送识别格，由强大的神经语言模型重新排序假设。识别格需在用户结束说话后才能发送，因为后续词汇可能显著改变假设概率。
端点检测模型(end-pointer)决定用户何时结束发言。设备端运行两种端点检测器：
- 快速推测型端点检测器（比最终检测器快200毫秒），可提前启动自然语言理解(NLU)等下游处理
- 高精度最终端点检测器，在快速检测器误判时发送修正指令
上下文感知机制
设备端ASR需支持动态上下文感知，例如：
- 提升通讯录联系人名称的识别权重
- 加强用户自定义设备名称的识别概率
采用基于多头注意力机制的上下文偏置技术，与ASR子网络联合训练：
模型训练创新
- 端到端RNN-T模型：直接映射语音到文本序列，显著减少内存占用
- 师生训练法：让小模型学习大模型输出模式
- 量化感知训练：训练时约束权重分布，实现8位量化存储
- 动态稀疏化：逐步将低权重归零，减少70%计算量
- 分支编码器：根据输入复杂度动态选择处理网络
硬件协同设计
专研神经边缘处理器支持：
- 8位及以下量化运算加速
- 零值计算自动跳过机制
- 矩阵压缩存储格式解码电路
技术成效
- 模型体积压缩至云端版1%
- 用户感知延迟降低200ms
- 带宽消耗减少90%
该技术已应用于车载等弱网环境，未来将拓展至多语言动态切换场景。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码
