筆跡を予測・補完・整形する手書きインタフェースの開発

本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和4年度は以下の研究を行った。1) 文字レベルの筆跡補完を実現するため、筆記の途中で文字を確定する早期認識の研究を行った。令和3年度のひらがな46文字に対し、令和4年度は画数の多い漢字1016文字を識別するリカレントニューラルネットワークを学習した。筆記途中のサンプルにその時点で類似している文字ラベルと筆記しようとしている文字ラベルを与える、重み付けマルチラベルエンコーディングを開発し、早期認識率を改善した。その結果、文字認識のための筆記時間を41.3%まで短縮した。2) 筆記途中の筆跡から残りの筆跡を生成し、補完する研究を行った。令和4年度はのべ190人から集めたひらがな「あ」の筆跡をLSTMで学習し、一画目を書いて残りの筆跡を生成する実験、二画目まで書いて残りの筆跡を生成する実験を行った。その結果、生成にかかる時間は筆記と比べて十分早く、およそ2分の1の割合で可読な文字を生成できることが分かった。3) 仮想空間で筆記する場合、紙面と異なってペンの接触がないので、素早く筆記すると余分な筆跡が残るか、一筆書きになる。そこで、非文字区間を推定して除去するシステムを構築した。一画ずつ分けて筆記する場合と比べ、筆記にかかる時間は3分の2程度に短縮できることが分かった。4) 走り書きで読みにくくなった筆跡を整形する手法を検討した。現在、プログラムを実装しているところである。

本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和4年度は以下の研究を行った。1) 文字レベルの筆跡補完を実現するため、筆記の途中で文字を確定する早期認識の研究を行った。令和3年度のひらがな46文字に対し、令和4年度は画数の多い漢字1016文字を識別するリカレントニューラルネットワークを学習した。筆記途中のサンプルにその時点で類似している文字ラベルと筆記しようとしている文字ラベルを与える、重み付けマルチラベルエンコーディングを開発し、早期認識率を改善した。その結果、文字認識のための筆記時間を41.3%まで短縮した。2) 筆記途中の筆跡から残りの筆跡を生成し、補完する研究を行った。令和4年度はのべ190人から集めたひらがな「あ」の筆跡をLSTMで学習し、一画目を書いて残りの筆跡を生成する実験、二画目まで書いて残りの筆跡を生成する実験を行った。その結果、生成にかかる時間は筆記と比べて十分早く、およそ2分の1の割合で可読な文字を生成できることが分かった。3) 仮想空間で筆記する場合、紙面と異なってペンの接触がないので、素早く筆記すると余分な筆跡が残るか、一筆書きになる。そこで、非文字区間を推定して除去するシステムを構築した。一画ずつ分けて筆記する場合と比べ、筆記にかかる時間は3分の2程度に短縮できることが分かった。4) 走り書きで読みにくくなった筆跡を整形する手法を検討した。現在、プログラムを実装しているところである。