自然言語表現から動画への変換法の研究

言語表現を動画に変換する問題について研究を進めた.具体的な対象として,料理レシピの文章からCGによる動画を得ることを対象に取り上げ,前期に引続き,言語表現と画像との対応,調理動作の種類などを分析して料理レシピが表す調理ステップをモデル化し,実験システムを作成して動作を確認した.言語表現と画像との関連付けの分析に基づき,料理レシピが表す調理ステップをモデル化した.調理は調理ステップからなり,調理ステップは調理動作からなり,調理動作は材料,道具,場所,時間により規定される.実験システムは,言語解析部と動画生成部とからなる.言語解析部は料理レシピ文章を形態素解析し,さらに係り受け解析して,格フレームを用いて中間表現を求める.動画生成部は2種類のスクリプトにより動画を生成する.一つは中間表現を料理ステップに従って読みながら,調理動作毎に対応する動画を選択して,動画フレームを生成し動画を表示する.もう一つのスクリプトは調理動作により材料が変化するときに動画を変更して材料の変化を表す.個々の画像はCGモデリングソフトにより作成した.動画生成および動画制御は3Dオーサリングツールを使用した.個々の調理動作に関しては,システムは調理動作の種類に応じて画像を示す.調理道具により材料に影響を与える動作は画像化し,料理の状態を示す動作は画像化しない.そのような状態情報は場合により文字情報などで示す.動作の継続時間は一般に副詞により表現され,料理に依存する.個別の知識やヒューリスティックスが必要であり,今回のシステムでは時間情報は扱わなかった.時間情報も場合に応じて文字情報で示す.具体例として「アスパラガスとウインナのじか妙め」のレシピ文章から動画を生成した.本研究により言語表現の多様性が視覚的な観点から具体的に示されたといえる.

言語表現を動画に変換する問題について研究を進めた.具体的な対象として,料理レシピの文章からCGによる動画を得ることを対象に取り上げ,前期に引続き,言語表現と画像との対応,調理動作の種類などを分析して料理レシピが表す調理ステップをモデル化し,実験システムを作成して動作を確認した.言語表現と画像との関連付けの分析に基づき,料理レシピが表す調理ステップをモデル化した.調理は調理ステップからなり,調理ステップは調理動作からなり,調理動作は材料,道具,場所,時間により規定される.実験システムは,言語解析部と動画生成部とからなる.言語解析部は料理レシピ文章を形態素解析し,さらに係り受け解析して,格フレームを用いて中間表現を求める.動画生成部は2種類のスクリプトにより動画を生成する.一つは中間表現を料理ステップに従って読みながら,調理動作毎に対応する動画を選択して,動画フレームを生成し動画を表示する.もう一つのスクリプトは調理動作により材料が変化するときに動画を変更して材料の変化を表す.個々の画像はCGモデリングソフトにより作成した.動画生成および動画制御は3Dオーサリングツールを使用した.個々の調理動作に関しては,システムは調理動作の種類に応じて画像を示す.調理道具により材料に影響を与える動作は画像化し,料理の状態を示す動作は画像化しない.そのような状態情報は場合により文字情報などで示す.動作の継続時間は一般に副詞により表現され,料理に依存する.個別の知識やヒューリスティックスが必要であり,今回のシステムでは時間情報は扱わなかった.時間情報も場合に応じて文字情報で示す.具体例として「アスパラガスとウインナのじか妙め」のレシピ文章から動画を生成した.本研究により言語表現の多様性が視覚的な観点から具体的に示されたといえる.