Deep AutoAugment
Deep AutoAugment
复制标题
DOI：
10.48550/arxiv.2203.06172
复制
发表时间：
2022-03
期刊：
影响因子：
--
通讯作者：
Yu Zheng;Z. Zhang;Shen Yan;Mi Zhang
中科院分区：
文献类型：
--
作者：
Yu Zheng;Z. Zhang;Shen Yan;Mi Zhang
虽然最近的自动数据增强方法导致了最先进的结果，但它们的设计空间和衍生的数据增强策略仍然包含了强大的人类先验知识。在这项工作中，我们提出了一种名为Deep AutoAugment（DeepAA）的全自动数据增强搜索方法，而不是在搜索的数据增强旁边固定一组手工挑选的默认增强。DeepAA通过一次堆叠一个增强层，直到达到收敛，从头开始逐步构建多层数据增强管道。对于每个增强层，该策略被优化以最大化沿具有低方差的方向的原始数据和增强数据的梯度之间的余弦相似性。我们的实验表明，即使没有默认的增强，我们可以学习的增强策略，实现强大的性能与以前的作品。大量的消融研究表明，正则化梯度匹配是一种有效的搜索方法的数据增强政策。我们的代码可在https://github.com/MSU-MLSys-Lab/DeepAA上获得。
While recent automated data augmentation methods lead to state-of-the-art results, their design spaces and the derived data augmentation strategies still incorporate strong human priors. In this work, instead of fixing a set of hand-picked default augmentations alongside the searched data augmentations, we propose a fully automated approach for data augmentation search named Deep AutoAugment (DeepAA). DeepAA progressively builds a multi-layer data augmentation pipeline from scratch by stacking augmentation layers one at a time until reaching convergence. For each augmentation layer, the policy is optimized to maximize the cosine similarity between the gradients of the original and augmented data along the direction with low variance. Our experiments show that even without default augmentations, we can learn an augmentation policy that achieves strong performance with that of previous works. Extensive ablation studies show that the regularized gradient matching is an effective search method for data augmentation policies. Our code is available at: https://github.com/MSU-MLSys-Lab/DeepAA .