Audio-visual object-based dynamic scene representation from monocular video
单目视频中基于视听对象的动态场景表示
基本信息
- 批准号:2701695
- 负责人:
- 金额:--
- 依托单位:
- 依托单位国家:英国
- 项目类别:Studentship
- 财政年份:2022
- 资助国家:英国
- 起止时间:2022 至 无数据
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
This research will investigate the transformation of monocular audio and visual video into a spatially localised object-based audio-visual representation. Self supervised and weakly supervised deep learning will be investigated for the transformation of general scenes intosemantically labelled and localised objects. This will build on recent advances in deep-learning based monocular reconstruction of general dynamic scenes and objects with known semantic labels, such as people. Multi-modal information sources including audio and text subtitles will be employed to support weakly supervised learning for semantic labelling and object-based reconstruction. The goal of this research is to generalise to unconstrained video sequences of complex real world scenes with multiple interacting people. Research will investigate approaches for the transfer of multi-modal or additional information to support the object-based scene reconstruction and evaluate the relative importance of differentinformation sources. The approach should be able to achieve plausible reconstruction of unknown or unmodelled object classes, together with complete reconstruction for modelled object classes. Learning on in-the-wild and BBC archive datasets will be investigated to support the generalisation to complex scenes. Specific use-cases such as sports and programme recommendation will also be investigated for evaluation in constrained contexts. The approach will be evaluated on both live and legacy content.
这项研究将研究单目视听视频到基于对象的空间局部化视听表示的转换。将研究自监督和弱监督深度学习,以将一般场景转换为具有自我标记和局部定位的对象。这将建立在基于深度学习的一般动态场景和具有已知语义标签的对象(例如人)的单目重建方面的最新进展。包括音频和文本字幕在内的多模式信息源将被用于支持语义标注和基于对象的重建的弱监督学习。这项研究的目标是将具有多个交互人员的复杂现实世界场景的无约束视频序列概括为无约束视频序列。研究将研究多模式或附加信息的传输方法,以支持基于对象的场景重建,并评估不同信息源的相对重要性。该方法应该能够实现未知或未建模对象类的似是而非的重建,以及建模对象类的完全重建。将研究野外和BBC档案数据集的学习,以支持对复杂场景的泛化。还将对体育和节目推荐等具体使用案例进行调查,以便在有限的情况下进行评估。该方法将在现场和传统内容上进行评估。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
其他文献
吉治仁志 他: "トランスジェニックマウスによるTIMP-1の線維化促進機序"最新医学. 55. 1781-1787 (2000)
Hitoshi Yoshiji 等:“转基因小鼠中 TIMP-1 的促纤维化机制”现代医学 55. 1781-1787 (2000)。
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
- 通讯作者:
LiDAR Implementations for Autonomous Vehicle Applications
- DOI:
- 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
- 通讯作者:
吉治仁志 他: "イラスト医学&サイエンスシリーズ血管の分子医学"羊土社(渋谷正史編). 125 (2000)
Hitoshi Yoshiji 等人:“血管医学与科学系列分子医学图解”Yodosha(涉谷正志编辑)125(2000)。
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
- 通讯作者:
Effect of manidipine hydrochloride,a calcium antagonist,on isoproterenol-induced left ventricular hypertrophy: "Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,K.,Teragaki,M.,Iwao,H.and Yoshikawa,J." Jpn Circ J. 62(1). 47-52 (1998)
钙拮抗剂盐酸马尼地平对异丙肾上腺素引起的左心室肥厚的影响:“Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
- 通讯作者:
的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('', 18)}}的其他基金
An implantable biosensor microsystem for real-time measurement of circulating biomarkers
用于实时测量循环生物标志物的植入式生物传感器微系统
- 批准号:
2901954 - 财政年份:2028
- 资助金额:
-- - 项目类别:
Studentship
Exploiting the polysaccharide breakdown capacity of the human gut microbiome to develop environmentally sustainable dishwashing solutions
利用人类肠道微生物群的多糖分解能力来开发环境可持续的洗碗解决方案
- 批准号:
2896097 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
A Robot that Swims Through Granular Materials
可以在颗粒材料中游动的机器人
- 批准号:
2780268 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Likelihood and impact of severe space weather events on the resilience of nuclear power and safeguards monitoring.
严重空间天气事件对核电和保障监督的恢复力的可能性和影响。
- 批准号:
2908918 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Proton, alpha and gamma irradiation assisted stress corrosion cracking: understanding the fuel-stainless steel interface
质子、α 和 γ 辐照辅助应力腐蚀开裂:了解燃料-不锈钢界面
- 批准号:
2908693 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Field Assisted Sintering of Nuclear Fuel Simulants
核燃料模拟物的现场辅助烧结
- 批准号:
2908917 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Assessment of new fatigue capable titanium alloys for aerospace applications
评估用于航空航天应用的新型抗疲劳钛合金
- 批准号:
2879438 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Developing a 3D printed skin model using a Dextran - Collagen hydrogel to analyse the cellular and epigenetic effects of interleukin-17 inhibitors in
使用右旋糖酐-胶原蛋白水凝胶开发 3D 打印皮肤模型,以分析白细胞介素 17 抑制剂的细胞和表观遗传效应
- 批准号:
2890513 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
Understanding the interplay between the gut microbiome, behavior and urbanisation in wild birds
了解野生鸟类肠道微生物组、行为和城市化之间的相互作用
- 批准号:
2876993 - 财政年份:2027
- 资助金额:
-- - 项目类别:
Studentship
相似国自然基金
引入昆虫复视机制的粒子滤波算法及其视觉伺服应用研究
- 批准号:61175096
- 批准年份:2011
- 资助金额:58.0 万元
- 项目类别:面上项目
情感与视觉记忆:它们的相互作用及神经环路研究
- 批准号:91132302
- 批准年份:2011
- 资助金额:300.0 万元
- 项目类别:重大研究计划
基于图像的Visuall Hull的立体感实时绘制及其高速图形处理硬件(GPU)的实现机制
- 批准号:60573149
- 批准年份:2005
- 资助金额:21.0 万元
- 项目类别:面上项目
基于多幅图象的Visual Hull重构及表面属性建模算法研究
- 批准号:60373031
- 批准年份:2003
- 资助金额:23.0 万元
- 项目类别:面上项目
相似海外基金
Functional and behavioral dissection of higher order thalamocortical circuits in schizophrenia.
精神分裂症高阶丘脑皮质回路的功能和行为解剖。
- 批准号:
10633810 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Modality-independent representations of object shape in macaque inferotemporal cortex
猕猴下颞叶皮层物体形状的模态无关表示
- 批准号:
10679530 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Cortical processing of three-dimensional object-motion
三维物体运动的皮层处理
- 批准号:
10638729 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Neural basis of flexible decisions in naturalistic environments
自然环境中灵活决策的神经基础
- 批准号:
10723707 - 财政年份:2023
- 资助金额:
-- - 项目类别:
CONVERGENT PROCESSING ACROSS VISUAL AND HAPTIC CIRCUITS FOR 3D SHAPE PERCEPTION
跨视觉和触觉电路的融合处理,实现 3D 形状感知
- 批准号:
10720137 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Developing an Experimental and Computational Framework for Studying Neural Representations of Tactile Motion on the Hand
开发用于研究手部触觉运动神经表征的实验和计算框架
- 批准号:
10732095 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Glove-based Tactile Streaming of Braille Characters and Digital Images for the Visually Impaired
为视障人士提供基于手套的盲文字符和数字图像触觉流传输
- 批准号:
10601900 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Elucidating the Role of ON and OFF Visual Pathways in Object Segmentation for Escape Behavior
阐明 ON 和 OFF 视觉通路在逃逸行为对象分割中的作用
- 批准号:
2212750 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Standard Grant
Neural and computational mechanisms underlying robust object recognition
鲁棒物体识别背后的神经和计算机制
- 批准号:
10682285 - 财政年份:2023
- 资助金额:
-- - 项目类别:
Integrative circuit dissection in the behaving nonhuman primate
非人类灵长类动物的集成电路解剖
- 批准号:
10653435 - 财政年份:2023
- 资助金额:
-- - 项目类别: