先進運転支援システムのための運転画像と運転意図のマルチモーダル教師なし深層学習

自動車運転システムは運転者，車両と運転環境の相互作用により諸変数が変化していく動的なシステムと考えられる．本研究では，運転者への入力とする運転環境（視覚情報）が運転行動にどのように影響を与えるかを深層学習の技術活用により分析する手法の開発を目的として研究を行った．本研究では，複数のセンサ情報を含む運転行動データと運転画像から未来の運転行動を予測するモデルを構築した．そして，Gradient-weighted Class Activation Mapping(Grad-CAM)を利用し，運転者が運転する際に注目したところを表示した。まず，運転行動時系列データの中に，外部環境およびセンサ障害によって引き起こされる一連の欠損情報を含む．一連の欠損情報は，運転行動の分析に大きな影響を与える．故に，誤差逆伝播法によるDeep Sparse Auto Encoder（DSAE-BP）との運転行動時系列データための欠損修復手法を提案した．実験により，欠損値補間に対して体系的な研究を行い，DSAE-BPの有効性を示した．この研究成果が国際ジャーナルSensorsに採録された．そして，運転者が運転する際に運転行動と運転環境の関係を分析するため，運転行動データと運転画像を利用し，Sequence to Sequenceモデルにより，未来の運転行動を予測するモデルを構築した．そして，Grad-CAMを用いて，未来の運転行動の予測に対して，運転画像での貢献が高い部分をヒートマップとして表示した．実験を通してGrad-CAMの結果が良好であるかどうかを評価することが極めて難しいということが，実践的知見として得られた．運転者の視線情報があれば，Grad-CAMの結果を数値的に評価することが可能であると考えられる．Grad-CAMの結果に対して，有効な数値評価の設計が今後の課題として，続き検討する．

自動車運転システムは運転者，車両と運転環境の相互作用により諸変数が変化していく動的なシステムと考えられる．本研究では，運転者への入力とする運転環境（視覚情報）が運転行動にどのように影響を与えるかを深層学習の技術活用により分析する手法の開発を目的として研究を行った．本研究では，複数のセンサ情報を含む運転行動データと運転画像から未来の運転行動を予測するモデルを構築した．そして，Gradient-weighted Class Activation Mapping(Grad-CAM)を利用し，運転者が運転する際に注目したところを表示した。まず，運転行動時系列データの中に，外部環境およびセンサ障害によって引き起こされる一連の欠損情報を含む．一連の欠損情報は，運転行動の分析に大きな影響を与える．故に，誤差逆伝播法によるDeep Sparse Auto Encoder（DSAE-BP）との運転行動時系列データための欠損修復手法を提案した．実験により，欠損値補間に対して体系的な研究を行い，DSAE-BPの有効性を示した．この研究成果が国際ジャーナルSensorsに採録された．そして，運転者が運転する際に運転行動と運転環境の関係を分析するため，運転行動データと運転画像を利用し，Sequence to Sequenceモデルにより，未来の運転行動を予測するモデルを構築した．そして，Grad-CAMを用いて，未来の運転行動の予測に対して，運転画像での貢献が高い部分をヒートマップとして表示した．実験を通してGrad-CAMの結果が良好であるかどうかを評価することが極めて難しいということが，実践的知見として得られた．運転者の視線情報があれば，Grad-CAMの結果を数値的に評価することが可能であると考えられる．Grad-CAMの結果に対して，有効な数値評価の設計が今後の課題として，続き検討する．