RI: Small: Grounding Probabilistic Event Logic in a Hierarchy of Video Segmentation Tubes

RI:小:在视频分段管的层次结构中奠定概率事件逻辑的基础

基本信息

  • 批准号:
    1018490
  • 负责人:
  • 金额:
    $ 45万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2010
  • 资助国家:
    美国
  • 起止时间:
    2010-09-15 至 2014-08-31
  • 项目状态:
    已结题

项目摘要

The project addresses the fundamental challenge of grounding high-level semantic concepts about events into low-level video data. The key innovations include: (1) Representing events via probabilistic event logic (PEL) along with corresponding inference and learning algorithms, (2) Video segmentation into a hierarchy of space-time tubes, and (3) Robustly grounding PEL into space-time tubes via AND-OR grammars. Space-time tubes are extracted by tracking candidate object boundaries across frames, where both boundary detection and tracking are learned from training videos. PEL allows for arbitrary, probabilistic, spatiotemporal constraints among events, including the traditional compositional rules, Allen relations between time intervals, and correlations among different events. Unlike existing work, the logical nature of PEL allows humans, even non-experts, to easily inject their own knowledge into the system. PEL conducts joint, holistic inference to find the globally best parse over all events, which is grounded in an AND-OR grammar of primitive events. The AND-OR grammar uses robust graph matching of video tubes for handling uncertainty in low-level visual processing. For evaluation, two video datasets of American football and a building?s atrium are compiled, with fully annotated event labels, object tracks, and spatiotemporal segmentations. Training is provided for graduate and undergraduate students, including those from under-represented groups. The project is expected to: (a) advance the state of the art which typically focuses only on video classification; (b) make the two datasets public; (c) generate workshops/tutorials on the related topics; and (d) produce publications in the highest-impact journals/conferences.
该项目解决了将有关事件的高级语义概念接地到低级视频数据中的基本挑战。主要创新包括:(1)通过概率事件逻辑(PEL)沿着相应的推理和学习算法来表示事件,(2)将视频分割成时空管的层次结构,以及(3)通过AND-OR语法将PEL鲁棒地接地成时空管。通过跨帧跟踪候选对象边界来提取时空管,其中边界检测和跟踪都是从训练视频中学习的。PEL允许事件之间的任意的、概率的、时空的约束,包括传统的组合规则、时间间隔之间的艾伦关系以及不同事件之间的相关性。与现有的工作不同,PEL的逻辑性质允许人类,甚至非专家,轻松地将自己的知识注入系统。PEL进行联合,整体推理,以找到全局最佳的解析所有事件,这是在一个与或语法的原始事件的基础。与或语法使用视频管的鲁棒图匹配来处理低级视觉处理中的不确定性。为了评估,两个视频数据集的美式足球和建筑物?的心房编译,完全注释的事件标签,对象的轨道,和时空分割。培训对象是研究生和本科生,包括代表性不足群体的学生。预计该项目将:(a)推进通常只侧重于视频分类的最新技术水平;(B)公布这两个数据集;(c)举办有关专题的讲习班/教程;(d)在影响力最大的期刊/会议上发表文章。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Sinisa Todorovic其他文献

<strong>DEEP MULTI-INSTANCE LEARNING FOR PREDICTING MISMATCH REPAIR DEFICIENCY IN COLON BIOPSIES</strong>
  • DOI:
    10.1016/j.jpi.2022.100075
  • 发表时间:
    2022-01-01
  • 期刊:
  • 影响因子:
  • 作者:
    Sasa Andjelkovic;Sinisa Todorovic;Djordje Pavlovic;Stacy Littlechild;Igor Mihajlovic;Ivana Mikic;Claire Weston;Casey Laris;Timothy Moran;Michael Quick;Sid Mayer;Raymond Jenoski;Kate Mansfield;Kristina Weatherhead;Kathy Murphy
  • 通讯作者:
    Kathy Murphy
<strong>DEEP MULTI-INSTANCE LEARNING FOR CLASSIFYING CANCER TYPES IN ENDOMETRIAL BIOPSIES</strong>
  • DOI:
    10.1016/j.jpi.2022.100076
  • 发表时间:
    2022-01-01
  • 期刊:
  • 影响因子:
  • 作者:
    Sasa Andjelkovic;Sinisa Todorovic;Djordje Pavlovic;Stacy Littlechild;Igor Mihajlovic;Ivana Mikic;Claire Weston;Casey Laris;Timothy Moran;Michael Quick;Sid Mayer;Raymond Jenoski;Kate Mansfield;Kristina Weatherhead;Kathy Murphy
  • 通讯作者:
    Kathy Murphy
Segmentation of touching insects based on optical flow and NCuts
基于光流和NCuts的触摸昆虫分割
  • DOI:
    10.1016/j.biosystemseng.2012.11.008
  • 发表时间:
    2013-02
  • 期刊:
  • 影响因子:
    5.1
  • 作者:
    Qing Yao;Qingjie Liu;Tom Dietterich;Sinisa Todorovic;Jeffrey Lin;Guangqiang Diao;Baojun Yang;Jian Tang
  • 通讯作者:
    Jian Tang

Sinisa Todorovic的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Sinisa Todorovic', 18)}}的其他基金

RI: Medium: Collaborative Research: Object and Activity Recognition as the Maximum Weight Subgraph Problem with Mutual Exclusion Constraints
RI:中:协作研究:对象和活动识别作为具有互斥约束的最大权重子图问题
  • 批准号:
    1302700
  • 财政年份:
    2013
  • 资助金额:
    $ 45万
  • 项目类别:
    Continuing Grant
SIG-011: International Workshop on Stochastic Image Grammars
SIG-011:随机图像语法国际研​​讨会
  • 批准号:
    1145358
  • 财政年份:
    2011
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CSR: Small: Leveraging Physical Side-Channels for Good
CSR:小:利用物理侧通道做好事
  • 批准号:
    2312089
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
NeTS: Small: NSF-DST: Modernizing Underground Mining Operations with Millimeter-Wave Imaging and Networking
NeTS:小型:NSF-DST:利用毫米波成像和网络实现地下采矿作业现代化
  • 批准号:
    2342833
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CPS: Small: NSF-DST: Autonomous Operations of Multi-UAV Uncrewed Aerial Systems using Onboard Sensing to Monitor and Track Natural Disaster Events
CPS:小型:NSF-DST:使用机载传感监测和跟踪自然灾害事件的多无人机无人航空系统自主操作
  • 批准号:
    2343062
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Reservoir Computing with Ion-Channel-Based Memristors
合作研究:FET:小型:基于离子通道忆阻器的储层计算
  • 批准号:
    2403559
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
オミックス解析を用いたブドウ球菌 small colony variants の包括的特徴づけ
使用组学分析全面表征葡萄球菌小菌落变体
  • 批准号:
    24K13443
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
AF: Small: Problems in Algorithmic Game Theory for Online Markets
AF:小:在线市场的算法博弈论问题
  • 批准号:
    2332922
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
NeTS: Small: ML-Driven Online Traffic Analysis at Multi-Terabit Line Rates
NeTS:小型:ML 驱动的多太比特线路速率在线流量分析
  • 批准号:
    2331111
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331302
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331301
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了