知識型オプティカル・スネークによる口唇輪郭抽出

使用基于知识的光学蛇进行嘴唇轮廓提取

基本信息

批准号：
09780392
负责人：
大久保雅史
金额：
$ 1.15万
依托单位：
Okayama Prefectural University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

项目摘要

人に優しい次世代ヒューマンインタフェースを目指すためには人間が発した言葉を認識する技術の確立が不可欠である。この分野の研究は、音声理解と機械読唇に大別されるが、両者が相互に補完し合うことが話し言葉の認識率を向上させることは明白である。音声理解においては、音の時系列変化を研究の対象としているのに対し、機械読唇においては静止画における口唇の輪郭形状から5母音の認識を行うものがほとんどである。そこで動画像から口唇輪郭を抽出する手法の確立を目的とし、オプティカルフローと静止画中の対象の輪郭を正確に抽出する動的輪郭抽出法(スネーク)との協調処理を用いた口唇輪郭抽出システム(オプティカル・スネーク)の研究開発を行い、その有効性を示してきた。しかし、画像のキャプチャリングの際の画像圧縮によるエッジのぼやけや口唇回りの影や照り等の影響で抽出が充分にできない場合がある。このような観点から本研究では、オプティカル・スネークのロバスト性の向上を目的として、口唇輪郭が動く範囲が限定されていることや、唇とその周りの肌との色相の違いに着目し、カラー情報を用いたオプティカル・スネークを提案している。具体的にはオプティカルフロー、スネーク双方の処理において輝度値・色相・彩度の有効性を検討し、さらにグレースケールの画像では口唇輪郭の抽出が困難であった動画像に対して、カラー情報を用いたオプティカル・スネークを適用して口唇運動の抽出を行い、その有効性を確認している。本研究の特色は機械読唇において動画像処理を用いること、オプティカル・フローと動的輪郭抽出法という2つの異なった特色を持つアルゴリズムの協調処理を用いていること、輝度値の代わりに色相を用いることで、扱う情報量をそのままにロバスト性を向上していること、さらに、口唇の動きの知識を導入することにより処理の高速化を図っている点である。

为了实现人类友好的下一代人界面，建立识别人词的技术至关重要。该领域的研究可以大致分为语音理解和机器唇阅读，但是很明显，补充两者将提高口语的识别率。在语音理解中，该研究重点介绍了声音的时间序列变化，而在机器唇读数中，大多数情况下的情况被认为是基于静态图像的嘴唇轮廓形状的五个元音。因此，为了建立一种从移动图像中提取唇彩的方法，我们使用光流和动态轮廓提取方法（SNAKE）之间的协调过程进行了唇轮廓提取系统（光学蛇）的研究和开发，从而准确地提取了静止图像中对象的轮廓，并证明了其有效性。但是，由于图像压缩，嘴唇周围的阴影和光泽引起的图像压缩，萃取可能不够，从这个角度来看，这项研究提出了使用颜色信息的光学蛇，重点是唇轮廓的有限范围，以及嘴唇和周围皮肤之间的差异，以改善嘴唇和周围的皮肤之间的差异，以改善选择性的蛇。具体而言，在光流和蛇处理中都检查了亮度值，色调和饱和度的有效性，以及对于在灰度图像中提取唇形轮廓的移动图像，使用颜色信息来提取唇部运动，并确认了使用颜色信息的光学蛇。这项研究的特征是它使用视频处理来进行机器唇读，并且它使用具有两个不同特征的算法的合作处理：光流和动态轮廓提取，并且通过使用色调而不是亮度值，它可以提高鲁棒性，同时还可以维持有关其处理的信息的量，并介绍了有关加速流动的知识。