Active Learning of non-Semantic Speech Tasks with Pretrained models
Active Learning of non-Semantic Speech Tasks with Pretrained models
复制标题
使用预训练模型主动学习非语义语音任务
DOI：
10.1109/icassp49357.2023.10096465
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Bertozzi, Andrea L.
中科院分区：
文献类型：
--
作者：
Lee, Harlin;Saeed, Aaqib;Bertozzi, Andrea L.
使用大量未标记数据集预训练神经网络已经变得很流行，因为它为深度模型提供了更好的解决下游任务的先验知识。然而，这种方法通常假设下游任务可以访问足够大的带注释的数据。在这项工作中，我们提出了ALOE，一种新的系统，用于提高数据和标签的效率与主动学习（AL）的非语义语音任务。ALOE使用预先训练的模型结合主动学习来递增地标记数据，并为下游任务学习分类器，从而减少了预先获取标记数据的需求。我们证明了ALOE在广泛的任务，基于不确定性的采集功能和模型架构的有效性。训练一个线性分类器上的冻结编码器ALOE实现性能类似于几个基线，利用整个标记的数据。
Pretraining neural networks with massive unlabeled datasets has become popular as it equips the deep models with a better prior to solve downstream tasks. However, this approach generally assumes that the downstream tasks have access to annotated data of sufficient size. In this work, we propose ALOE, a novel system for improving the data- and label-efficiency of non-semantic speech tasks with active learning (AL). ALOE uses pretrained models in conjunction with active learning to label data incrementally and learn classifiers for downstream tasks, thereby mitigating the need to acquire labeled data beforehand. We demonstrate the effectiveness of ALOE on a wide range of tasks, uncertainty-based acquisition functions, and model architectures. Training a linear classifier on top of a frozen encoder with ALOE is shown to achieve performance similar to several baselines that utilize the entire labeled data.
低资源端到端语音识别的主动学习方法
DOI：
10.21437/interspeech.2019-2316
发表时间：
2019
期刊：
ArXiv
影响因子：
--
作者：
Karan Malhotra;Shubham Bansal;Sriram Ganapathy
通讯作者：
Sriram Ganapathy
使用 wav2vec 2.0 对脑瘫患者使用未标记语音进行语音识别
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
松坂 勇樹;高島 遼一;滝口 哲也
通讯作者：
滝口 哲也
IEEE 声学、语音和信号处理国际会议，ICASSP 2021，加拿大安大略省多伦多，2021 年 6 月 6-11 日
DOI：
10.1109/icassp39728.2021
发表时间：
2021
期刊：
2023 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
影响因子：
--
作者：
Mark Lindsey;Nathaniel R. Robinson;Francis Kubala;Richard M. Stern
通讯作者：
Richard M. Stern