複数モダリティの知識表現を用いたマルチモーダル構造適応型深層学習の研究

入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。本手法は画像や時系列データ等のベンチマークにおいて，他の深層学習手法(VGG16, ResNet等)より高い分類能力を示した。本手法は既存の手法よりも高い性能を示したものの，数は多くないが，分類困難な事例が見つかっている。これらの多くは，医療データ等に見られる曖昧性が多く含まれる事例や，単一のデータだけ判定が難しいものであった。深層学習では，複数の異なる入力を同時に学習するマルチモーダル深層学習は提案されているが，各モダリティ間の特徴や知識表現に基づき，最終判定のために適切に合成・融合する手法は少ない。このため，本研究では，動画像，音声，自然言語等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習を探求する。特に，複数のモデル間の確率分布の違いをKL情報量により測定し，モダリティを適切に合成・融合するための指標を開発する。類似性に応じてモダリティ間の共通成分を知識として獲得し，データ表現能力が不足する場合は新規ニューロンを自動追加する。入力に欠損があった場合でも別のモダリティがもつ知識に基づいて補間し，その他の情報と合成することで人間のような高次の情報処理を実現する。動画等のビッグデータに適用し評価する。

入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。本手法は画像や時系列データ等のベンチマークにおいて，他の深層学習手法(VGG16, ResNet等)より高い分類能力を示した。本手法は既存の手法よりも高い性能を示したものの，数は多くないが，分類困難な事例が見つかっている。これらの多くは，医療データ等に見られる曖昧性が多く含まれる事例や，単一のデータだけ判定が難しいものであった。深層学習では，複数の異なる入力を同時に学習するマルチモーダル深層学習は提案されているが，各モダリティ間の特徴や知識表現に基づき，最終判定のために適切に合成・融合する手法は少ない。このため，本研究では，動画像，音声，自然言語等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習を探求する。特に，複数のモデル間の確率分布の違いをKL情報量により測定し，モダリティを適切に合成・融合するための指標を開発する。類似性に応じてモダリティ間の共通成分を知識として獲得し，データ表現能力が不足する場合は新規ニューロンを自動追加する。入力に欠損があった場合でも別のモダリティがもつ知識に基づいて補間し，その他の情報と合成することで人間のような高次の情報処理を実現する。動画等のビッグデータに適用し評価する。