空間的概念の共感のためのマルチモーダル情報処理

点击翻译按钮获取中文摘要

本研究では空間概念,すなわち,形状,大きさ,位置,方向,ならびにそれらの相対的関係あるいはその時間的変化などの情報の表現と伝達に問題を絞り,言語と画像表現を併用するマルチモーダルな情報表現を想定して,各情報表現の役割分担と情報補完の構造,異モード情報表現の照合とモード変換,マルチモーダル情報の表現などについて検討した.具体的なマルチモーダル情報処理の問題としては,道案内と機械組立説明という2つのタスクを採り上げた.まず,道案内に関しては,道案内文と地図上の経路との対応付問題,略地図と案内文を併用した説明生成,案内文からの略地生成,などの問題を設定してそれぞれの解決手法について検討した.その結果「通り」という概念がこれらの問題を人間的に解決する上で重要な要素であることが判明した.そこで,「通り」の認知モデルを提案し,これに基づいて道路のネットワーク構造を再編することで,より人間に近いやり方で上記の問題が解決できることを示した.機械組立説明に関しては,組立マニュアルの自動生成,言語的指示からの完成品予測の二点について検討し,それぞれの自動化システムを開発した.メディアに依存しない組立の内部表現として組立二分木を,また説明の表現として組立説明記述という表現を提案した.組立二分木を組立方向と機能に基づいて分割し,これに説明図と説明文を割り当てることで機械組み立てマニュアルが自動生成できる.この過程で組立を理解する上で必要となる空間的な情報は部品特徴の照合によって自動生成される.また,入力となる組立二分木表現自体を人間の言語的指示と部品のCADモデルから自動獲得する手法も開発した.