使Transformer体系结构适应关键字检测的方法以及关键字转换器(KWT)的介绍。
Transformer架构在许多领域都取得了成功，包括自然语言处理、计算机视觉和语音识别。在关键字发现中，自我注意主要用于卷积或循环编码器之上。我们研究了一系列使Transformer架构适应关键字发现的方法，并引入了关键字Transformer (KWT)，这是一种完全自关注的架构，在多个任务中超过了最先进的性能，无需任何预先训练或额外数据。令人惊讶的是，这种简单的架构优于混合了卷积层、循环层和注意层的更复杂的模型。KWT可用于替代这些模型，在谷歌语音命令数据集上分别以98.6%和97.7%的准确率在12和35个命令任务上创下了两个新的基准记录。
作者:阿克塞尔·伯格1、2马克·奥康纳1米格尔·泰鲁姆·克鲁兹1
1Arm ML研究实验室，英国
2隆德大学，瑞典
|
|
|
|
|
|
|
|
|
|
留下回复