マルチモーダルな数式入力UIの研究と数学学習支援環境

多模态公式输入UI及数学学习支持环境研究

• 批准号: 20K12117
• 负责人: 福井 哲夫
• 金额: $ 2.75万
• 依托单位: Mukogawa Women's University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K12117/
• 关键词: マルチモーダル学習; 音声入出力; 数式入力インタフェース; 数学文書エディタ; 知的学習支援システム; 数学eラーニング; 手書き入力; 音声入力; 数学学習支援

本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となった。そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。具体的には、まず前年度試作した数学文書エディタに統合するためのグラフ作成ツールの学習教材サンプルの充実を図り、その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて発表した。次に、研究協力者の白井詩沙香氏（大阪大学講師）と数学講義動画サンプルの字幕を生成し、数式を表示できる字幕システムの開発を行い、その成果を情報処理学会の第85回全国大会にて発表した。また、年度の後半には、学生アルバイトにより数式の音声読み上げデータを収集し、音声認識のための数式辞書テーブルを作成し、中学数学レベルではあるが音声による数式入力インタフェースの試作に成功した。その成果も情報処理学会の第85回全国大会にて発表した。

这项研究旨在创建和发布一个可以适应各种情况的学习支持环境，例如键盘，触摸屏和语音输入，可以在数学集成的文档编辑器中实现，并且可以与数学电子学习者（例如数字备忘录和答案输入）以及对学生进行数学的知识以及在数学上进行数学的方式链接，并与数字备忘录和答案输入以及诸如数字答案和答案相关。由于Covid-19大流行的长期影响，研究工作在2020财年有所下降，从而导致该研究主题的进展很大。因此，研究计划已延长了一年，研究计划的最初实施于2021年进行了，在2021年进行了顺利进行。具体来说，我们首先扩展了用于将图形创建工具的示例学习材料扩展到上一年生产的数学文档编辑器，并在“研究”研究中介绍了“数学软件研究”的结果及其有效的研究会议。接下来，他创建了一个字幕系统，可以与研究合作者Shirai Shisaka（大阪大学的讲师）为样本数学讲座视频生成字幕，并开发了一个可以显示数学公式的字幕系统，并在第85届全国信息处理协会会议上介绍了结果。此外，在下半年，兼职学生收集了数学公式的语音到语音数据，创建了一个数学词典表，用于语音识别，并成功地创建了一个基于原型语音语音的数学公式输入界面，尽管在初级高中数学水平上。结果也在信息处理协会的第85届全国会议上提出。

项目成果

数学eラーニングのための数式予測変換方式によるリッチテキストエディタの試作と評価

使用数学电子学习公式预测转换方法进行富文本编辑器的原型制作和评估

• 发表时间: 2022
• 作者: 白井詩沙香;中原敬広;福井哲夫
• 通讯作者: 福井哲夫

日本語音声認識とGUIによるマルチモーダル数式入力方式の試作

使用日语语音识别和 GUI 的多模式数学输入法原型

• 发表时间: 2023
• 作者: 石丸 琴海;妹尾 美侑;白井 詩沙香;福井 哲夫
• 通讯作者: 福井 哲夫

Math E-learning Question Specification and XML Exporter for STACK by using Visual Programming Language

使用可视化编程语言的数学电子学习问题规范和 STACK 的 XML 导出器

• 发表时间: 2021
• 作者: Yasuyuki Nakamura;Takahiro Nakahara;Mitsuru Kawazoe;Kentaro Yoshitomi,Tetsuo Fukui;Shizuka Shirai;Katsuya Kato;Tetsuya Taniguchi
• 通讯作者: Tetsuya Taniguchi

数学デジタル文書読み上げツールの開発

数学数字文献阅读工具的开发

• 发表时间: 2021
• 作者: 加藤 駿弥;宮崎 佳典;中村 泰之;田中 省作;新谷 誠;長谷川 陽和，原 知鈴，福井 哲夫
• 通讯作者: 長谷川 陽和，原 知鈴，福井 哲夫

数式を含む講義動画に対応した字幕表示システムの構築

兼容数学公式讲座视频的字幕显示系统的构建

• 发表时间: 2023
• 作者: 白井 詩沙香;中原 敬広;福井 哲夫
• 通讯作者: 福井 哲夫