Alexa AI科学家通过半监督学习将语音识别错误减少了22%

亚马逊的Alexa Speech团队科学家今天宣布，他们使用了历史上最大的未标记数据集之一来训练声学模型，并提高助手理解人类声音的能力。

使用半监督学习，一种结合人和机器标记数据用于训练AI模型的方法，亚马逊科学家可以训练模型，并将语音识别的错误率降低10-22%，同时完全依赖监督学习。在嘈杂的音频中，我们可以看到语音识别错误减少的更大好处。

声学模型用7000小时的标记数据进行训练，然后用100万小时的带注释或不带标记的数据进行训练。声学模型是一系列人工智能系统之一，它为自动语音识别提供动力，并将语音命令转换为计算机动作。

Alexa高级应用科学家Hari Parthasarathi在一篇博文中表示：“我们目前正在努力将新模型集成到Alexa中，预计发布日期将在今年晚些时候。

这项工作将于下月在英国布莱顿举行的IEEE声学、语音和信号处理国际会议上展示。

阿列克谢理解人类声音能力的这些进步是通过使用名为师生培训的长期和短期记忆(LSTM)网络实现的。经过训练，“老师”可以理解30毫秒的音频块，然后使用未标记的数据将一些理解传递给“学生”网络。

许多其他技术已经被应用于优化或加速模型训练，例如分析学生模型的音频一次而不是两次，交错或混合两个模型，并且在训练期间以最高概率仅存储20个教师模型输出，而不是将结果分成3000个不同的聚类。然后，学生模型必须尝试匹配尽可能多的20个概率。

“7000小时的标注数据比机器标注的数据更准确，所以在训练学生的时候，我们会把两者交叉。我们的直觉是，如果机器标记的数据开始将模型引向错误的方向，带注释的数据可以提供路线修正。

今天的消息是2月份宣布的，用其他半监督学习方法将语音识别的错误率降低20%，并使双麦克风阵列比本周早些时候宣布的七麦克风阵列更有效。