4コマ漫画シーン理解のための文脈情報に関する研究

用于理解四格漫画场景的上下文信息研究

• 批准号: 14658100
• 负责人: 渡邉 豊英
• 金额: $ 2.18万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14658100/
• 关键词: ストーリ展開; 文脈情報; 展開パターン; 4コマ漫画; コマ関係; 形状照合; 人物像認識; 言語と画像の理解; ヒューマン・インタフェース; 動作情報抽出

4コマ漫画はその基本構造として「起承転結」の展開を有しているとされているが、実際にコマ間の関係を解釈するとき、より詳しいストーリ展開の情報が必要となる。このような4コマ漫画のそれぞれのコマ間依存関係に関する情報を文脈情報と捉える。すなわち、4コマがそのストーリ展開に果たす役割を分析し、物語理解のためのシナリオとなるのがストーリ展開情報であり、そのようなコマ関係の物語理解のための枠組みを与えるのがストーリ展開構造である。ストーリ展開構造は4コマ漫画の文脈を意味付け、物語理解の手掛かりとなる。この文脈情報をどのように抽出し、どのように利用可能とするかが本研究課題の目標である。そのために3つの視点からコマ相互の描写内容を分析し、その特徴を抽出することを想定した。1)台詞や説明語・句がコマ内にあるか否かという観点でコマ特性を定め、このコマ特性の変化・系列としてパターン種別を定義する。2)前後のコマ描写内容に注目して、「(1)前コマが後コマの一部として縮退している、(2)反対に前コマが後コマを含んでいる、(3)前コマと後コマは全く同じ場面、状況となっている、(4)前コマと後コマは全く関係していない」という関係、及びコマ系列における依存関係によって特徴を定め、このコマ間の依存関係としてパターン種別を定義する。などを想定した。1)については5つのストーリ展開パターンによってほぼ83%の4コマ漫画の展開を解釈できることが確かめられた。その5つとはreasoning, concluding, opposing, asserting, correspondingである。今回は台詞が吹出し内に表記され、画像処理も比較的簡単であり、1)の視点は有用な方法である。一方、2)については実装するまでには至っていないが、コマ間の関係をその画素の空間的分布状況に基づいて判別し、また分布形状の相対的な解釈・識別法について実験した。もし、形状照合がかなりの精度で実現できれば、1)の視点よりも描写内容を表現していて、ストーリ展開構造を理解するために有効な情報となることが、思考的分析で確かめた。

4. The basic structure of the comic book is necessary for the development of the "starting point" and the relationship between the two. The relationship between the two groups is related to context information. The analysis of the results of the development of the relationship between the two languages and the structure of the development of the relationship between the two languages. The structure of the cartoon is 4 degrees, and the meaning of the story is 4 degrees. The purpose of this study is to extract and utilize contextual information. 3. Analysis of the content of each other's descriptions and extraction of their characteristics 1) Line Description·Sentence 2)The description of the front and back of the tube is focused on,"(1) the front and back of the tube are part of the contraction,(2) the opposite is the front and back of the tube,(3) the front and back of the tube are the same, the situation is the same,(4) the front and back of the tube are the whole relationship, and the dependency relationship is determined." The dependency relationship between the two groups is defined as follows: I want to fix it. 1)その5つとはreasoning, concluding, opposing, asserting, correspondingである。This time around, the lines are blown out, the images are processed, and the comparison is simple. 1) The viewpoint is useful. 1) The relationship between the pixel and the spatial distribution of the pixel is determined by the basic method, and the distribution shape is determined by the corresponding method. 1) View point, description, content, expression, development, structure, understanding, information, analysis, thinking, accuracy

项目成果

T.Watanabe, M.Mase: "Phrase-oriented Simplification Method of Document Sentences, Based on Constructive Relationships among Composite Elements"Proc.of VSMM2003. 366-374 (2003)

T.Watanabe，M.Mase：“基于复合元素间构造关系的面向短语的文档句子简化方法”Proc.of VSMM2003。

T.Watanabe, T.Ego: "Recognition of Story Patterns in Four-frames Comics"Proc.of GREC2003. 55-64 (2003)

T.Watanabe，T.Ego：“四格漫画中故事模式的识别”Proc.of GREC2003。

若園智美, 牛尼剛聡, 渡辺豊英: "非同期対話環境におけるビデオ・メッセージの構造化とブラウジング"2002年度電気関係学会東海支部連合大会論文集. 234 (2002)

Tomomi Wakazono、Takesato Ushiani、Toyhide Watanabe：“异步对话环境中视频消息的构建和浏览”2002 年日本电气工程师东海分会会议记录 234 (2002)。

T.Wakazono, T.Ushiama, T.Watanabe: "Interest-based Structurization of Video Messages in Asynchronous Video Communication"Proc. of VSMM2002. 506-512 (2002)

T.Wakazono、T.Ushiama、T.Watanabe：“异步视频通信中基于兴趣的视频消息结构化”Proc。

Toyohide Watanabe: "Analysis of Story Structure in Four-frames Comics"Proc. of VSMM2002. 800-808 (2002)

渡边丰秀：“四格漫画的故事结构分析”Proc。