マルチモーダルな数式入力UIの研究と数学学習支援環境

多模态公式输入UI及数学学习支持环境研究

• 批准号: 20K12117
• 负责人: 福井 哲夫
• 金额: $ 2.75万
• 依托单位: Mukogawa Women's University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K12117/
• 关键词: マルチモーダル学習; 音声入出力; 数式入力インタフェース; 数学文書エディタ; 知的学習支援システム; 数学eラーニング; 手書き入力; 音声入力; 数学学習支援

本研究では，数学教材を作成（デジタル化）する教師のためだけでなく，ICTを活用して，数学的知識や思考を身につけようとする生徒・学生・一般人のために，多様な場面に対応し，キーボード，タッチスクリーン，音声入力などマルチモーダルな数式入力インタフェースを実現し，数学的統合文書エディタに実装して，デジタルメモや解答入力など数学eラーニングと連携できる学習支援環境を構築・公開することを目的とする．長期化するコロナ禍の影響により，令和２年度は研究エフォートが下がり，本研究課題の進捗は大きく遅れる結果となった。そのため研究計画を一年延長し、令和４年度は当初令和３年に実施する内容を順調に実施した。具体的には、まず前年度試作した数学文書エディタに統合するためのグラフ作成ツールの学習教材サンプルの充実を図り、その成果を「数学ソフトウェアとその効果的教育利用に関する研究」研究集会にて発表した。次に、研究協力者の白井詩沙香氏（大阪大学講師）と数学講義動画サンプルの字幕を生成し、数式を表示できる字幕システムの開発を行い、その成果を情報処理学会の第85回全国大会にて発表した。また、年度の後半には、学生アルバイトにより数式の音声読み上げデータを収集し、音声認識のための数式辞書テーブルを作成し、中学数学レベルではあるが音声による数式入力インタフェースの試作に成功した。その成果も情報処理学会の第85回全国大会にて発表した。

This study aims at creating mathematics textbooks for teachers, ICT utilization, mathematical knowledge and thinking, students, students, ordinary people, diverse situations, audio and digital input, mathematical integration, and the development of mathematics textbooks. A learning environment is constructed, opened, and targeted. Long-term effects of climate change, and 2 years of research, the progress of this research project is large. The research plan is extended for one year, ordered for four years, and implemented for three years. The concrete results of the previous year's trial work on mathematical instruments were presented as "Research on the Educational Utilization of Mathematical Instruments". Shirasaki Shirai (Osaka University Lecturer), a research collaborator, presented his work at the 85th National Conference of the Society for Information Processing. In the second half of the year, the students successfully tried to collect the sound of the number of words in the dictionary, and the sound of the number of words in the dictionary. The 85th National Conference of the Society for Information Processing was held in Beijing.

项目成果

数学デジタル文書読み上げツールの開発

数学数字文献阅读工具的开发

• 发表时间: 2021
• 作者: 加藤 駿弥;宮崎 佳典;中村 泰之;田中 省作;新谷 誠;長谷川 陽和，原 知鈴，福井 哲夫
• 通讯作者: 長谷川 陽和，原 知鈴，福井 哲夫

Math E-learning Question Specification and XML Exporter for STACK by using Visual Programming Language

使用可视化编程语言的数学电子学习问题规范和 STACK 的 XML 导出器

• 发表时间: 2021
• 作者: Yasuyuki Nakamura;Takahiro Nakahara;Mitsuru Kawazoe;Kentaro Yoshitomi,Tetsuo Fukui;Shizuka Shirai;Katsuya Kato;Tetsuya Taniguchi
• 通讯作者: Tetsuya Taniguchi

Development of Online Support Tools for Creating STEM Educational Materials

开发用于创建 STEM 教材的在线支持工具

• 发表时间: 2023
• 作者: Tetsuo Fukui;Shizuka Shirai
• 通讯作者: Shizuka Shirai

数式を含む講義動画に対応した字幕表示システムの構築

兼容数学公式讲座视频的字幕显示系统的构建

• 发表时间: 2023
• 作者: 白井 詩沙香;中原 敬広;福井 哲夫
• 通讯作者: 福井 哲夫

日本語音声認識とGUIによるマルチモーダル数式入力方式の試作

使用日语语音识别和 GUI 的多模式数学输入法原型

• 发表时间: 2023
• 作者: 石丸 琴海;妹尾 美侑;白井 詩沙香;福井 哲夫
• 通讯作者: 福井 哲夫