Collaborative Research: Automatic Video Interpretation and Description

合作研究:自动视频解释和描述

基本信息

  • 批准号:
    1721216
  • 负责人:
  • 金额:
    $ 16万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2017
  • 资助国家:
    美国
  • 起止时间:
    2017-09-01 至 2020-08-31
  • 项目状态:
    已结题

项目摘要

Digital information processing has become an essential part of modern life. It is nowadays often expressed in a form of multimedia, involving videos accompanied with images, captions, and audio. Given the explosive growth of such multimedia data, it is extremely critical that it is accurately summarized and organized for automatic processing in artificial intelligence. One important yet challenging problem is automatic interpretation and summarization of video content, having enormous applications in video advertisements, online video searching and browsing, movie recommendation based on personal preference, and essentially any electronic commerce platform. In this project, the research team plans to develop statistical tools to raise our capacity of processing digital information to respond to a rapid growth of video content in real-world applications. The primary objective is to create a learning system to decipher the meaning of visual expressions as perceived by the audience, with a focus on understanding semantic meaning conveyed by a video.This project aims to develop methods of automatic video interpretation and description, which understands visual thoughts expressed by a video and generates semantic expressions of the content of a video. Particularly, it will utilize conditional dependence structures of entities as well as between entities and their pertinent actions, in a framework of multi-label and hierarchical classification. It will focus on three areas: 1) entity and action learning, 2) semantic learning for long videos and content-based segmentation, and 3) automatic video description generation, each of which develops techniques in novel ways. In each area, classification will be performed collaboratively based on pairwise conditional label dependencies and temporal dependencies of video frames, characterized by graphical and hidden Markov models. Special effort will be devoted to learning from multiple sources and extracting latent structures corresponding to scenes of a video. The PIs also plan to release the software developed as open source and build a user community around the language by ensuring that interested researchers are able to contribute to the codebase of the software developed. This will allow a wider growth of the project. This aspect is of special interest to the software cluster in the Office of Advanced Cyberinfrastructure, which has provided co-funding for this award.
数字信息处理已成为现代生活的重要组成部分。如今,它通常以多媒体的形式表达,包括伴随着图像,字幕和音频的视频。鉴于这种多媒体数据的爆炸性增长,它是非常关键的,它是准确地总结和组织的人工智能自动处理。视频内容的自动解释和摘要是一个重要而具有挑战性的问题,在视频广告、在线视频搜索和浏览、基于个人偏好的电影推荐以及基本上任何电子商务平台中具有巨大的应用。在这个项目中,研究小组计划开发统计工具,以提高我们处理数字信息的能力,以应对现实世界应用中视频内容的快速增长。本项目的主要目的是建立一个学习系统,以理解视频所传达的语义为重点,破译观众所感知的视觉表达的含义。本项目旨在开发自动视频解释和描述的方法,该方法理解视频所表达的视觉思想,并生成视频内容的语义表达。特别是,它将利用实体的条件依赖结构,以及实体和它们的相关动作之间,在多标签和层次分类的框架。它将专注于三个领域:1)实体和动作学习,2)长视频的语义学习和基于内容的分割,以及3)自动视频描述生成,每一个都以新颖的方式开发技术。在每个区域中,将基于成对条件标签依赖性和视频帧的时间依赖性协作执行分类,其特征在于图形和隐马尔可夫模型。特别的努力将致力于从多个源学习和提取对应于视频场景的潜在结构。PI还计划发布作为开源开发的软件,并通过确保感兴趣的研究人员能够为所开发软件的代码库做出贡献,围绕该语言建立一个用户社区。这将使该项目得到更广泛的发展。高级网络基础设施办公室的软件集群对此特别感兴趣,该办公室为该奖项提供了共同资助。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Xiaotong Shen其他文献

Adaptive Regularization through Entire Solution Surface
通过整个解决方案表面的自适应正则化
  • DOI:
  • 发表时间:
    2008
  • 期刊:
  • 影响因子:
    0
  • 作者:
    WU Seongho;Xiaotong Shen;C. Geyer
  • 通讯作者:
    C. Geyer
Associations between plasma metals and hemoglobin in female college students with dysmenorrhea
  • DOI:
    10.1016/j.heliyon.2024.e37778
  • 发表时间:
    2024-09-30
  • 期刊:
  • 影响因子:
  • 作者:
    Qingzhi Hou;Yuchen Zhang;Hua Yang;Yunjie Wang;Zexi Xu;Jiujing Lin;Jia Li;Chenyang Hou;Zhanhui Qiu;Haoran Zhang;Ping Zhang;Xiangsheng Xue;Xiaotong Shen;Xinghua Xu;Hui Zou;Zhenrui Ma;Jing Gao;Xiaomei Li
  • 通讯作者:
    Xiaomei Li
Vehicle Autonomy Using Cooperative Perception for Mobility-on-Demand Systems
使用协作感知实现按需出行系统的车辆自主
  • DOI:
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Seong;T. Bandyopadhyay;B. Qin;Z. J. Chong;Wei Liu;Xiaotong Shen;S. Pendleton;J. Fu;M. Ang;Emilio Frazzoli;D. Rus
  • 通讯作者:
    D. Rus
Pyridine emN/em‑Oxide-Promoted Cobalt-Catalyzed Dioxygen-Mediated Methane Oxidation
吡啶氮氧化物促进的钴催化双氧介导的甲烷氧化
  • DOI:
    10.1021/acs.joc.3c00770
  • 发表时间:
    2023-08-04
  • 期刊:
  • 影响因子:
    3.600
  • 作者:
    Bingyin Meng;Luyao Liu;Xiaotong Shen;Wu Fan;Suhua Li
  • 通讯作者:
    Suhua Li
A DUF4281 domain-containing protein (homologue of ABA4) of emPhaeodactylum tricornutum/em regulates the biosynthesis of fucoxanthin
三角褐指藻中的一个含 DUF4281 结构域的蛋白(ABA4 的同源物)调节岩藻黄质的生物合成

Xiaotong Shen的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Xiaotong Shen', 18)}}的其他基金

FRG: Collaborative Research: Generative Learning on Unstructured Data with Applications to Natural Language Processing and Hyperlink Prediction
FRG:协作研究:非结构化数据的生成学习及其在自然语言处理和超链接预测中的应用
  • 批准号:
    1952539
  • 财政年份:
    2020
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: Collaborative Learning for Multimodal Data
协作研究:多模态数据的协作学习
  • 批准号:
    1712564
  • 财政年份:
    2017
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: New statistical learning and scalable computation for large unstructured data
协作研究:大型非结构化数据的新统计学习和可扩展计算
  • 批准号:
    1415500
  • 财政年份:
    2014
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Mining structured tensor data
挖掘结构化张量数据
  • 批准号:
    1207771
  • 财政年份:
    2012
  • 资助金额:
    $ 16万
  • 项目类别:
    Continuing Grant
Structured classification and regression
结构化分类和回归
  • 批准号:
    0906616
  • 财政年份:
    2009
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Proposal: International Research and Education: Workshops in Statistics
合作提案:国际研究和教育:统计研讨会
  • 批准号:
    0634639
  • 财政年份:
    2006
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Inference and Prediction in a Complex Discovery Process
复杂发现过程中的推理和预测
  • 批准号:
    0604394
  • 财政年份:
    2006
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Nonseparable Multiclass Learning for Object Tracking
用于对象跟踪的不可分离多类学习
  • 批准号:
    0354881
  • 财政年份:
    2003
  • 资助金额:
    $ 16万
  • 项目类别:
    Continuing Grant
Nonseparable Multiclass Learning for Object Tracking
用于对象跟踪的不可分离多类学习
  • 批准号:
    0328802
  • 财政年份:
    2003
  • 资助金额:
    $ 16万
  • 项目类别:
    Continuing Grant
Semiparametric and Nonparametric Inferences
半参数和非参数推理
  • 批准号:
    0072635
  • 财政年份:
    2000
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: The Automatic Weather Station Program: Antarctic Meteorological Sentinel Service 2024-2027
合作研究:自动气象站计划:南极气象哨兵服务2024-2027
  • 批准号:
    2301362
  • 财政年份:
    2023
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: The Automatic Weather Station Program: Antarctic Meteorological Sentinel Service 2024-2027
合作研究:自动气象站计划:南极气象哨兵服务2024-2027
  • 批准号:
    2301363
  • 财政年份:
    2023
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: FMitF: Track I: Automatic Discovery and Verification of Database Query Transformations
合作研究:FMitF:第一轨:数据库查询转换的自动发现和验证
  • 批准号:
    2219995
  • 财政年份:
    2022
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: FMitF: Track I: Automatic Discovery and Verification of Database Query Transformations
合作研究:FMitF:第一轨:数据库查询转换的自动发现和验证
  • 批准号:
    2220407
  • 财政年份:
    2022
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Medium: Collaborative Automatic Parallelization
协作研究:SHF:中:协作自动并行化
  • 批准号:
    2107257
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Continuing Grant
IRES: Track I: Collaborative Research: Supporting FSU and MTU Student Research with NTNU Faculty on Automatic Improvement of Application Performance
IRES:第一轨道:合作研究:支持 FSU 和 MTU 学生与 NTNU 教师一起进行自动改进应用程序性能的研究
  • 批准号:
    2103105
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Medium: Collaborative Automatic Parallelization
协作研究:SHF:中:协作自动并行化
  • 批准号:
    2107042
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Continuing Grant
Collaborative Research: Improving Techniques of Automatic Speech Recognition and Transfer Learning using Documentary Linguistic Corpora
合作研究:利用文献语言语料库改进自动语音识别和迁移学习技术
  • 批准号:
    2123624
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
IRES: Track I: Collaborative Research: Supporting FSU and MTU Student Research with NTNU Faculty on Automatic Improvement of Application Performance
IRES:第一轨道:合作研究:支持 FSU 和 MTU 学生与 NTNU 教师一起进行自动改进应用程序性能的研究
  • 批准号:
    2103103
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
Collaborative Research: Improving Techniques of Automatic Speech Recognition and Transfer Learning using Documentary Linguistic Corpora
合作研究:利用文献语言语料库改进自动语音识别和迁移学习技术
  • 批准号:
    2123578
  • 财政年份:
    2021
  • 资助金额:
    $ 16万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了