Development of human machine interface by using lip reading technique in noisy circumstances

噪声环境下唇读技术的人机界面开发

基本信息

项目摘要

The importance of assistant behavior according to the human commands instead of the stand-alone behavior has been recognized in recent years. In such cases, communication methods between human and robots should be considered. The word recognition technique had been developed in several researchers and in calm situation it can be used for practical use. But in noisy circumstances, they are not still applicable and have a number of problems to solve. For word recognition method in noisy circumstances, the lip reading method is investigated in our research. By the lip reading method, additional trainings of user are not required to control robots.In this research, the video images of human speaking are input to the system and the lip shape movements are automatically extracted to provide word recognition parameters. For these automatic extractions of lip shapes of the NTSC video signal rate are realized by hardware realization of the active contour model techniques. For future works, the development of the lip area separation technique from complex background is remained.
近年来,人们已经认识到根据人类命令的辅助行为而不是独立行为的重要性。在这种情况下,应考虑人与机器人之间的通信方法。单词识别技术已经在几个研究者中得到了发展,在平静的情况下,它可以用于实际应用。但在嘈杂的环境中,它们仍然不适用,并且有许多问题需要解决。对于噪声环境下的单词识别方法,本文研究了唇读阅读方法。在本研究中,将人类说话的视频影像输入系统,并自动撷取唇形动作,以提供文字辨识参数,借由唇阅读的方法,不需要使用者额外的训练来控制机器人。对于这些自动提取的嘴唇形状的视频信号速率是通过硬件实现的活动轮廓模型技术。对于未来的工作,复杂背景中嘴唇区域分离技术的发展仍然存在。

项目成果

期刊论文数量(34)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
動的輪郭モデルのハードウエア化と唇形状週出への応用について
关于动态轮廓模型的硬件开发及其在唇形测量中的应用
  • DOI:
  • 发表时间:
    2003
  • 期刊:
  • 影响因子:
    0
  • 作者:
    大原寿規;高木佐恵子;岩崎慶;吉本富士市;佐々木 悠介
  • 通讯作者:
    佐々木 悠介
Realization of a Face Area Extraction Algorithm in Hardware System
一种人脸区域提取算法的硬件系统实现
動的輪郭モデルのハードウエア化とその読唇母音認識への応用
动态轮廓模型的硬件实现及其在唇读元音识别中的应用
顔領域特定アルゴリズムのハードウェア上への実現について
关于人脸区域识别算法的硬件实现
Inner and Outer Lip Shape Extraction by using Hardware Active Contour Model
使用硬件主动轮廓模型提取内外唇形状
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

SUGAHARA Kazunori其他文献

SUGAHARA Kazunori的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('SUGAHARA Kazunori', 18)}}的其他基金

Analysis of operation histories of assistance support system for 2nd public transportations
第二公共交通救助支持系统运行历史分析
  • 批准号:
    17K01256
  • 财政年份:
    2017
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Construction of autonomous distributed system for large capacity content dellivery
大容量内容交付的自治分布式系统构建
  • 批准号:
    23500088
  • 财政年份:
    2011
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
On the distributed autonomous content delivery system
分布式自治内容分发系统
  • 批准号:
    20500067
  • 财政年份:
    2008
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
On the Development of Real Time Lip Reading System for Word Recognition in Noisy Circumstances
噪声环境下实时唇读文字识别系统的研制
  • 批准号:
    12650427
  • 财政年份:
    2000
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Linguistic Description of Circuits and its Application for Symbolic Circuit Analysis.
电路的语言描述及其在符号电路分析中的应用。
  • 批准号:
    09650415
  • 财政年份:
    1997
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Linguistic Description of Circuits Suitable for Symbolic Circuit Analysis.
适用于符号电路分析的电路语言描述。
  • 批准号:
    07650430
  • 财政年份:
    1995
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)

相似海外基金

SBIR Phase II: A Novel Human Machine Interface for Assistive Robots
SBIR 第二阶段:辅助机器人的新型人机界面
  • 批准号:
    2223169
  • 财政年份:
    2023
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Cooperative Agreement
Development of human-machine interface based on elucidation of motor neurophysiological mechanism
基于阐明运动神经生理机制的人机界面开发
  • 批准号:
    23KJ0507
  • 财政年份:
    2023
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
Improving Human Machine Interface Learnability : Cognitive Readiness and IT Learning Experience
提高人机界面的可学习性:认知准备度和 IT 学习体验
  • 批准号:
    571020-2021
  • 财政年份:
    2022
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Alliance Grants
Advanced Methods of Human Machine Interface for Improved Myoelectric Control
改进肌电控制的人机界面先进方法
  • 批准号:
    RGPIN-2021-02638
  • 财政年份:
    2022
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Discovery Grants Program - Individual
Non-invasive and safe human-machine interface (HMI) systems
非侵入式安全人机界面 (HMI) 系统
  • 批准号:
    DP210102911
  • 财政年份:
    2021
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Discovery Projects
SBIR Phase I: Using electromyography (EMG) signals for advanced human-machine interface of amputees and bionic upper limb prosthetics
SBIR 第一阶段:使用肌电图 (EMG) 信号为截肢者和仿生上肢假肢提供先进的人机界面
  • 批准号:
    2112285
  • 财政年份:
    2021
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Standard Grant
Advanced Methods of Human Machine Interface for Improved Myoelectric Control
改进肌电控制的人机界面先进方法
  • 批准号:
    RGPIN-2021-02638
  • 财政年份:
    2021
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Discovery Grants Program - Individual
Signal Processing of Electromyography with Bayesian Framework for Next Generation Motion Integration Human Machine Interface
使用贝叶斯框架进行肌电图信号处理,用于下一代运动集成人机界面
  • 批准号:
    RGPIN-2016-04137
  • 财政年份:
    2021
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Discovery Grants Program - Individual
Defending Machine Learning Operations (MLOps) across the Human-Machine Interface
跨人机界面保护机器学习操作 (MLOps)
  • 批准号:
    NI210100139
  • 财政年份:
    2021
  • 资助金额:
    $ 2.24万
  • 项目类别:
    National Intelligence and Security Discovery Research Grants
Signal Processing of Electromyography with Bayesian Framework for Next Generation Motion Integration Human Machine Interface
使用贝叶斯框架进行肌电图信号处理,用于下一代运动集成人机界面
  • 批准号:
    RGPIN-2016-04137
  • 财政年份:
    2020
  • 资助金额:
    $ 2.24万
  • 项目类别:
    Discovery Grants Program - Individual
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了