ImPen:画像の検索・位置決めと再構成による新しいペン型インタフェース

本研究の目的は、紙への書き込みを電子文書にも反映させる手法を、特殊な紙を用いずに実現することである。具体的な手法は、次の通りである。ペンにカメラを取り付け、カメラで捉えた紙面に対応する電子文書とその位置をLLAHと呼ぶ文書画像検索法を用いて検索することにより、電子文書上の運筆情報として復元する。本年度は、精度や安定性を向上さえるための手法の開発に加えて、プロトタイプシステムを作成し評価実験を行った。具体的な成果は以下の通りである。(1) データベース拡張とクエリ拡張による精度や安定性の向上:文書画像検索の精度が低下する原因の一つは画像に加わる射影歪みである。そこで、射影歪みが生じた画像を予めデータベースに登録しておくこと(データベース拡張)と検索時に射影歪みを予測し正面からの画像に補正した上で検索する手法(クエリ拡張)の2つの手法を考案し、有効性を検証した。(2) 文書画像検索とトラッキングの組み合わせによる白紙部分への対応:文書画像検索だけでは白紙への筆記に対応できない。そこで、別途開発した紙指紋(紙紋)の抽出手法とそれに基づくトラッキングの手法を文書画像検索に組み合わせることによって、この問題を解決した。(3) プロトタイプシステムの作成:以上の手法を動作させるためにカメラペンを試作し、動作実験を行った。照明変動やモーションブラーの問題が生じる場合があるものの、筆跡が復元できることを実験的に確認した。以上の成果を2010年11月にインドで開催されたICFHRにて発表したところ、最優秀論文賞を受賞することができた。

本研究の目的は、紙への書き込みを電子文書にも反映させる手法を、特殊な紙を用いずに実現することである。具体的な手法は、次の通りである。ペンにカメラを取り付け、カメラで捉えた紙面に対応する電子文書とその位置をLLAHと呼ぶ文書画像検索法を用いて検索することにより、電子文書上の運筆情報として復元する。本年度は、精度や安定性を向上さえるための手法の開発に加えて、プロトタイプシステムを作成し評価実験を行った。具体的な成果は以下の通りである。(1) データベース拡張とクエリ拡張による精度や安定性の向上:文書画像検索の精度が低下する原因の一つは画像に加わる射影歪みである。そこで、射影歪みが生じた画像を予めデータベースに登録しておくこと(データベース拡張)と検索時に射影歪みを予測し正面からの画像に補正した上で検索する手法(クエリ拡張)の2つの手法を考案し、有効性を検証した。(2) 文書画像検索とトラッキングの組み合わせによる白紙部分への対応:文書画像検索だけでは白紙への筆記に対応できない。そこで、別途開発した紙指紋(紙紋)の抽出手法とそれに基づくトラッキングの手法を文書画像検索に組み合わせることによって、この問題を解決した。(3) プロトタイプシステムの作成:以上の手法を動作させるためにカメラペンを試作し、動作実験を行った。照明変動やモーションブラーの問題が生じる場合があるものの、筆跡が復元できることを実験的に確認した。以上の成果を2010年11月にインドで開催されたICFHRにて発表したところ、最優秀論文賞を受賞することができた。