複数モダリティの知識表現を用いたマルチモーダル構造適応型深層学習の研究

利用多模态知识表示的多模态结构自适应深度学习研究

• 批准号: 21K17809
• 负责人: 鎌田 真
• 金额: $ 3万
• 依托单位: Hiroshima City University (2022)Prefectural University of Hiroshima (2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17809/
• 关键词: 深層学習; マルチモーダル; 構造適応型学習; 知識獲得; ビッグデータ

入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。本手法は画像や時系列データ等のベンチマークにおいて，他の深層学習手法(VGG16, ResNet等)より高い分類能力を示した。本手法は既存の手法よりも高い性能を示したものの，数は多くないが，分類困難な事例が見つかっている。これらの多くは，医療データ等に見られる曖昧性が多く含まれる事例や，単一のデータだけ判定が難しいものであった。深層学習では，複数の異なる入力を同時に学習するマルチモーダル深層学習は提案されているが，各モダリティ間の特徴や知識表現に基づき，最終判定のために適切に合成・融合する手法は少ない。このため，本研究では，動画像，音声，自然言語等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習を探求する。特に，複数のモデル間の確率分布の違いをKL情報量により測定し，モダリティを適切に合成・融合するための指標を開発する。類似性に応じてモダリティ間の共通成分を知識として獲得し，データ表現能力が不足する場合は新規ニューロンを自動追加する。入力に欠損があった場合でも別のモダリティがもつ知識に基づいて補間し，その他の情報と合成することで人間のような高次の情報処理を実現する。動画等のビッグデータに適用し評価する。

In order to improve the performance of the system, the number of automatic training is generated

项目成果

A Teacher-Student based Adaptive Structural Deep learning Model and Its Estimating Uncertainty of Image Data

基于师生的自适应结构深度学习模型及其图像数据不确定性估计

• 发表时间: 2023
• 期刊: Handbook of Statistics Volume 49: Artificial Intelligence
• 作者: Takumi Ichimura;Shin Kamada;Toshihide Harada and Ken Inoue
• 通讯作者: Toshihide Harada and Ken Inoue

Automatic Extraction of Road Networks from Satellite Images by using Adaptive Structural Deep Belief Network

使用自适应结构深度置信网络从卫星图像中自动提取道路网络

• 发表时间: 2021
• 作者: 鎌田真;市村匠，河原大輔;市村匠，鎌田真;Shin Kamada and Takumi Ichimura
• 通讯作者: Shin Kamada and Takumi Ichimura

構造適応型深層学習を用いた道路網認識手法 RoadTracer による土砂検出の試み

使用 RoadTracer 进行沉积物检测的试验，RoadTracer 是一种使用结构自适应深度学习的道路网络识别方法

• 发表时间: 2021
• 作者: 鎌田真;市村匠
• 通讯作者: 市村匠

Teacher-Student構造適応型深層学習によるアンサンブル学習と認知症MRI画像診断への応用

基于师生结构自适应深度学习的集成学习及其在痴呆MRI图像诊断中的应用

• 发表时间: 2021
• 作者: 鎌田真;市村匠;原田俊英
• 通讯作者: 原田俊英

構造適応型深層学習を用いた肺腫瘍セグメンテーション手法の開発

利用结构自适应深度学习开发肺部肿瘤分割方法

• 发表时间: 2022
• 作者: 鎌田真;市村匠，河原大輔
• 通讯作者: 市村匠，河原大輔