マルチモーダルな数式入力UIの研究と数学学習支援環境

本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となった。そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。具体的には、まず前年度試作した数学文書エディタに統合するためのグラフ作成ツールの学習教材サンプルの充実を図り、その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて発表した。次に、研究協力者の白井詩沙香氏（大阪大学講師）と数学講義動画サンプルの字幕を生成し、数式を表示できる字幕システムの開発を行い、その成果を情報処理学会の第85回全国大会にて発表した。また、年度の後半には、学生アルバイトにより数式の音声読み上げデータを収集し、音声認識のための数式辞書テーブルを作成し、中学数学レベルではあるが音声による数式入力インタフェースの試作に成功した。その成果も情報処理学会の第85回全国大会にて発表した。

本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となった。そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。具体的には、まず前年度試作した数学文書エディタに統合するためのグラフ作成ツールの学習教材サンプルの充実を図り、その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて発表した。次に、研究協力者の白井詩沙香氏（大阪大学講師）と数学講義動画サンプルの字幕を生成し、数式を表示できる字幕システムの開発を行い、その成果を情報処理学会の第85回全国大会にて発表した。また、年度の後半には、学生アルバイトにより数式の音声読み上げデータを収集し、音声認識のための数式辞書テーブルを作成し、中学数学レベルではあるが音声による数式入力インタフェースの試作に成功した。その成果も情報処理学会の第85回全国大会にて発表した。