人物行動を伝えるための映像文法を用いた知的映像撮影・編集システムの構築

利用视频语法传达人类行为的智能视频拍摄与编辑系统的构建

• 批准号: 15017208
• 负责人: 中村 裕一
• 金额: $ 3.07万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15017208/
• 关键词: 知的映像撮影; 知的映像編集; マルチメディア; 対話的映像メディア; 人工知能応用; コミュニケーション

本研究では,情報学的な見地から,「効果的に情報を提示するために,どのような映像部品(単語)を用意し,どのような映像編集規則(文法)にしたがって提示すればよいか」という問題を自動化システムを構築しながら実証的に探ることを目的としている.そのために,本年度は会話シーンに重点を置き,会話シーンの撮影,編集,メディア構築に関する研究を行った.以下のように,順調に研究が進行している.会話シーンの撮影:昨年度に引き続き,人物行動観測,映像撮影・編集を行う自動化システムの構築・拡張を行った.今年度は,特に会話シーンに対し,複数人が部屋で自由に会話する場合の撮影が行えるように,種々の実装を行った.現在,部品となる要素技術がほぼできあがり,全体として一貫した動作をすることを確認している段階である.会話シーンの編集規則と映画との比較:我々が提案してきた編集モデルによる会話シーンの編集と映画に見られる編集例との比較を行い,提案した編集モデルの能力を検証すると同時に,映画やTV番組の編集例と比較しながら編集規則の設定やパラメータ設定を行っている.対話型映像メディアへのコンテンツ供給:我々が提案してきた対話型映像メディアは,質問やユーザの行動に応じて適切な映像データを編集しながら提示する.そのために,上記2つの知見と技術を用いてコンテンツを取得し,要求に応じた編集を行って提示する枠組みを検討した.

This study で は, informatics な insight か ら, "unseen fruit に intelligence を suggest す る た め に, ど の よ う な image part (単) を intention し, ど の よ う な compiling rules (grammar) image に し た が っ て prompt す れ ば よ い" か と い う を automatic シ ス テ ム を build し な が ら be licensed に agent る こ と を purpose と し て い る. そ の た め に は session this year シ ー ン に key を き, session シ ー ン の pinch of shadow, compiled メ デ ィ ア build に masato す る を line っ た. The following の よ う に, shun に research が し て い る. Session シ ー ン の pinch of shadow: yesterday's annual に lead き 続 き, character action 観 measurement, image of shadow line, compilation, を う automation シ ス テ ム の line, construct company, zhang を っ た. Our は, に session シ ー ン に し seaborne, plural people が izutsu で す に session freedom る occasions の pinch of shadow line が え る よ う に, kind of 々 の line be loaded を っ た. Now, the department of product と な る elements technology が ほ ぼ で き あ が り, all と し て consistent し た action を す る こ と を confirm し て い る Duan Jie で あ る. Compiling rules session シ ー ン の と used と の comparison: I 々 が proposal し て き compiling モ た デ ル に よ る session シ ー ン compiling と の used に see ら れ compiling case る と の is を い, proposal し compiling モ た デ ル の ability を 検 card す る と に at the same time, used や TV group's compiling example と の is し な が compiling rules set の や ら パ ラ メ ー タ set っ を line Youdaoplaceholder0 て る. Words type image seaborne メ デ ィ ア へ の コ ン テ ン ツ supply: I 々 が proposal し て き た words type image seaborne メ デ ィ ア は, questioned や ユ ー ザ の action に 応 じ て appropriate な image デ ー タ compiling し を な が ら prompt す る. そ の た め に, written 2 つ の knowledge を と technology with い て コ ン テ ン ツ を し, require に 応 じ line compiling を た っ て prompt す る 枠 group Youdaoplaceholder0 to claim た.

项目成果

尾関, 中村, 大田: "Computational Video Editing Model based on Optimization with Constraint-Satisfaction"Proc. Pacific-Rim Conference on Multimedia. 2A1-2A2 (2003)

Ozeki、Nakamura、Ota：“基于约束满足优化的计算视频编辑模型”Proc. 环太平洋多媒体会议 (2003)。

尾関, 中村, 大田: "机上作業シーンの自動撮影のためのカメラワーク"電子情報通信学会論文誌. DII-J86 11. 1606-1617 (2003)

Ozeki、Nakamura、Ota：“自动拍摄办公桌工作场景的相机工作”，电子、信息和通信工程师协会汇刊 DII-J86 11. 1606-1617 (2003)。

伊藤, 尾関, 中村, 大田: "Simple and Robust Tracking of Hands and Objects for Video-based Multimedia Production"Proc.IEEE.Conference on Multisensor Fusion and Integration for Intelligent Systems. 252-257 (2003)

Ito、Ozeki、Nakamura、Ota：“基于视频的多媒体制作的手部和物体的简单而鲁棒的跟踪”Proc.IEEE。智能系统多传感器融合与集成会议 252-257 (2003)。

尾関, 伊津野, 伊藤, 中村, 大田: "Object Tracking and Task Recognition for Producing Intaractive Video Content ---Semi-automatic indexing for QUEVICO"Proc.Int'l Conference on Knowledge-Based Intelligent Information & Engineering Systems. 1044-1053 (2003)

Ozeki、Itsuno、Ito、Nakamura、Ota：“用于生成 Intaractive 视频内容的对象跟踪和任务识别 ---QUEVICO 的半自动索引”Proc.基于知识的智能信息与工程系统国际会议 1044-1053。 (2003)

尾関, 伊藤, 里, 中村, 大田: "複合コミュニティ空間における注目の共有〜注目誘導行動による物体への注釈付け〜"日本バーチャルリアリティ学会 論文誌. 8・4. 369-377 (2003)

Ozeki、Ito、Sato、Nakamura、Ota：“在复杂的社区空间中共享注意力 - 通过注意力引导行为注释对象”日本虚拟现实学会杂志 8・4（2003 年）。