深層学習モデルの分解と再構成による認識原理の解明と学習効率化

通过分解重构深度学习模型，阐明识别原理，提高学习效率

• 批准号: 22K12089
• 负责人: 井上 中順
• 金额: $ 2.66万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12089/
• 关键词: 深層学習; 画像認識

２０２２年度は、深層ニューラルネットワークの適合器について研究を実施した。近年の深層ニューラルネットワークは大規模化が進んでおり、音処理では、音声認識、話者認識、感情認識などといったそれぞれのタスクに対して、深層ニューラルネットワークの学習を個別におこなうことが非効率となりつつある。そこで、本年度の研究では、事前に学習された自己教師あり音表現モデルを固定して用い、そこに小さな適合器と呼ばれるニューラルネットワークを挿入することで、個別のタスクに適したモデルを得る手法を提案した。評価実験では、まず音声認識と話者照合タスクで提案手法の実装をおこない、従来のファインチューニング法と同程度の精度が、従来よりもより少ないパラメータ数（約８割の削減）で達成可能であることを実証した。この成果は、深層ニューラルネットワークを細かく分解し、再構築を可能とするための要素技術になると考えられるため、研究は順調に進められていると言える。また、複数の大規模モデルから１つの小規模モデルを得るための知識蒸留法についても検討をおこなっている。この部分に関してはまだ成果が得られていない。特に複数の大規模モデルを用いる場合、GPUメモリ不足や計算量（及び計算機使用量）が増大する問題があり、上記の適合器と組み合わせるなど、いくつか効率的な方針を検討中である。これらの実験は音声データをもとに実施しているが、様々なデータでの効果を検証するため、今後は画像データへの応用も視野に入れて研究を進める必要がある。

In the year 2022, we will conduct a study on the implementation of the project. In recent years, there have been significant changes in the development of large-scale modeling, sound management, sound knowledge, personal knowledge, emotional knowledge, and so on. in recent years, we have been in a lot of trouble. This year's research program, study in advance, teach yourself in advance that the sound meter is used to fix the device, and that the mini-device is required to make sure that the device is used, and that the proposal is recommended. In order to improve the accuracy and accuracy of the same level of accuracy, it is possible to achieve the same level of accuracy and accuracy (about 8%). The results are reviewed, the results are reviewed, the results are analyzed, and the key elements of technology and research are reviewed. The large-scale, complex-size, large-scale, complex-size, large-scale, small-scale, small-scale, large-scale, small-scale, small-scale, large-scale, small-scale, small-size, large-scale, small-scale, small-scale, large-scale, large-scale In some cases, the results have been improved. The complexity of large-scale data sets, the calculation of GPU shortages (and the usage of computer), the combination of computer components, and the calculation of computer usage are important in the calculation of large-scale data. In the future, the portrait will be used in the field to do the necessary research.