ImPen:画像の検索・位置決めと再構成による新しいペン型インタフェース

ImPen：一种新的类似笔的界面，具有图像搜索、定位和重建功能

• 批准号: 21650026
• 负责人: 黄瀬 浩一
• 金额: $ 1.98万
• 依托单位: Osaka Prefecture University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Exploratory Research
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21650026/
• 关键词: カメラペン; 筆跡復元; 文書画像検索; 紙指紋; トラッキング; LLAH; データベース拡張; 質問拡張; 近似最近傍探索; モザイキング; クエリ拡張; 生成型学習

本研究の目的は、紙への書き込みを電子文書にも反映させる手法を、特殊な紙を用いずに実現することである。具体的な手法は、次の通りである。ペンにカメラを取り付け、カメラで捉えた紙面に対応する電子文書とその位置をLLAHと呼ぶ文書画像検索法を用いて検索することにより、電子文書上の運筆情報として復元する。本年度は、精度や安定性を向上さえるための手法の開発に加えて、プロトタイプシステムを作成し評価実験を行った。具体的な成果は以下の通りである。(1) データベース拡張とクエリ拡張による精度や安定性の向上:文書画像検索の精度が低下する原因の一つは画像に加わる射影歪みである。そこで、射影歪みが生じた画像を予めデータベースに登録しておくこと(データベース拡張)と検索時に射影歪みを予測し正面からの画像に補正した上で検索する手法(クエリ拡張)の2つの手法を考案し、有効性を検証した。(2) 文書画像検索とトラッキングの組み合わせによる白紙部分への対応:文書画像検索だけでは白紙への筆記に対応できない。そこで、別途開発した紙指紋(紙紋)の抽出手法とそれに基づくトラッキングの手法を文書画像検索に組み合わせることによって、この問題を解決した。(3) プロトタイプシステムの作成:以上の手法を動作させるためにカメラペンを試作し、動作実験を行った。照明変動やモーションブラーの問題が生じる場合があるものの、筆跡が復元できることを実験的に確認した。以上の成果を2010年11月にインドで開催されたICFHRにて発表したところ、最優秀論文賞を受賞することができた。

は の purpose, this study paper へ の book き 込 み を electronic document に も reflect さ せ る gimmick を, special な paper を い ず に be presently す る こ と で あ る. The specific な technique, and the secondary な is the same as である である. ペ ン に カ メ ラ を り pay け, カ メ ラ で catch え た paper に 応 seaborne す る electronic document と そ の position を LLAH と shout ぶ documents portrait 検 を rope method using い て 検 cable す る こ と に よ り, electronic document の brushwork intelligence と し て recovery す る. This year は や, precision and stability を upward さ え る た め の gimmick の open 発 に plus え て, プ ロ ト タ イ プ シ ス テ ム を made し review 価 be 験 を line っ た. The specific な results are as follows: である である. (1) デ ー タ ベ ー ス company, zhang と ク エ リ company, zhang に よ る や stability precision の upward: documents portrait 検 cable の is low precision が す る reason の つ は portrait に plus わ る projective slanting み で あ る. そ こ で, projective slanting み が raw じ た portrait を to め デ ー タ ベ ー ス に login し て お く こ と (デ ー タ ベ ー ス company) と 検 when Mr. に projective slanting み し を to test positive か ら の portrait に corrected し た on で 検 cable す る technique (ク エ リ company) の 2 つ の gimmick し を test case, have a sharper を 検 card し た. (2) paperwork portrait 検 cable と ト ラ ッ キ ン グ の group み close わ せ に よ る white part へ の 応 seaborne: documents portrait 検 cable だ け で は paper へ の notes に 応 seaborne で き な い. そ こ で, don't stay open 発 し た (grain) の paper fingerprint extraction technique と そ れ に base づ く ト ラ ッ キ ン グ の gimmick を instrument group portrait 検 suo に み close わ せ る こ と に よ っ て, こ の を solve し た. (3) プ ロ ト タ イ プ シ ス テ ム の is made: the above の gimmick を action さ せ る た め に カ メ ラ ペ ン を attempt し, action be 験 を line っ た. Lighting - move や モ ー シ ョ ン ブ ラ ー の problem が raw じ る occasions が あ る も の の, handwriting が recovery で き る こ と を be 験 に confirm し た. All above の を November 2010 に イ ン ド で open rush さ れ た ICFHR に て 発 table し た と こ ろ, the most outstanding papers reward を who す る こ と が で き た.

项目成果

講座:第2回 マルチメディア検索の最先端 大規模静止画像DBの検索

讲座：第 2 部分：多媒体搜索的前沿：搜索大规模静态图像数据库

• 发表时间: 2010
• 期刊: 映像情報メディア学会誌 64
• 作者: 福井孝太郎;草野世大;高西淳夫;誉田雅彰;Jin'ichi Murakami;黄瀬浩一
• 通讯作者: 黄瀬浩一

カメラペンシステムにおける射影歪みを考慮した文書画像検索の精度向上法

摄像笔系统中考虑透视畸变的提高文档图像检索精度的方法

• 发表时间: 2010
• 作者: 近野恵;他
• 通讯作者: 他

文書・画像検索方法とそのプログラム

文档/图像搜索方法及其程序

• 发表时间: 2011

データベースおよびクエリの拡張による文書画像検索の精度向上法

如何通过扩展数据库和查询来提高文档图像搜索准确性

• 发表时间: 2010
• 作者: 近野恵;他
• 通讯作者: 他

特徴追跡と文書画像検索を用いたカメラペンシステム

使用特征跟踪和文档图像检索的相机笔系统

• 发表时间: 2010
• 作者: 岩田和将;他
• 通讯作者: 他