Acceleration framework for training deep learning by cooperative with algorithms and computer architectures

通过与算法和计算机架构合作训练深度学习的加速框架

• 批准号: 21K17768
• 负责人: 前田 慶博
• 金额: $ 3万
• 依托单位: Tokyo University of Science
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17768/
• 关键词: 深層学習; 計算機アーキテクチャ; ハードウェアアクセラレーション; 高能率計算; 高速化

Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．本年度は，プルーニングと量子化に着目したDNNモデルの軽量化手法，またそれに並行して入力データの前処理の高速化を検討した．プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する技術である．また，量子化は，重みなどのパラメータをより低精度・低bitな数値型で保持することによるDNNモデルの軽量化技術である．本研究課題では，より効率的なプルーニングを実現するために，前年度に引き続き，周波数領域での特徴を活用した手法を検討した．また，量子化に関しては，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を実施した．この他，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．

Deep neural network (DNN) technology, technology, The calculation system is based on the use of the computer computer, the computer In the process of high-speed operation, high-speed transmission, high-speed operation, high-speed operation, high In order to improve the performance of high-precision and low-precision low-bit data, we need to maintain the performance of low-precision, low-precision, low-precision, The DNN device holds the weight of the distribution, and the quantization of the cut quantizes the manipulation of the display. The DNN uses the high-speed manipulation of the DNN.

项目成果

Basic Study on Domain Specific Description of Convolution with Sliding DFT

滑动DFT卷积的领域特定描述的基础研究

• 发表时间: 2022
• 作者: Yamato Kanetaka;Yoshihiro Maeda;and Norishige Fukushima
• 通讯作者: and Norishige Fukushima

Performance evaluation of halide auto-scheduler with directional cubic convolution interpolation

• DOI: 10.1117/12.2666979
• 发表时间: 2023-03
• 作者: Haruki Nogami;Sou Oishi;Tomohiro Sasaki;Y. Maeda;Norishige Fukushima

ガウス分布重み計算の近似によるバイラテラルフィルタの高速化

通过近似高斯分布权重计算加速双边滤波器

• 发表时间: 2022
• 作者: Yuto Sumiya;Tomoki Otsuka;Yoshihiro Maeda;and Norishige Fukushima;大石創，前田慶博，福嶋慶繁;小島史也，前田慶博，福嶋慶繁
• 通讯作者: 小島史也，前田慶博，福嶋慶繁

近似バイラテラルフィルタのJust-Noticeable Differenceに基づく画質評価指標

基于近似双边滤波器Just-Noticeable Difference的图像质量评价指标

• 发表时间: 2022
• 作者: 廖 嘉慧;河原 英紀;松井淑恵;流石凪彩;大石創，前田慶博，福嶋慶繁
• 通讯作者: 大石創，前田慶博，福嶋慶繁

局所コントラスト変換によるエッジ保存型ウェーブレット変換

具有局部对比度变换的边缘保留小波变换

• 发表时间: 2022
• 作者: 林晃平;福嶋慶繁,前田慶博
• 通讯作者: 福嶋慶繁,前田慶博