Development of a sketch-based plant identification tool using deep learning for image retrieval and its utilization in science learning

点击翻译按钮获取中文摘要

本研究の目的は、中学校理科「生物の観察と分類の仕方」の単元で活用可能なＡＩ型植物検索教材を開発すること、及び開発教材を活用して中学校理科の授業モデルを提案することである。当初の計画では、令和4－6年度に身近な草本植物20種程度の判別能力を持たせることを目標としていた。令和4年度には、以前作成したプロトタイプ（初期型）の判別器で使用した4種（タンポポ、ハルジオン、シロツメクサ、オオイヌノフグリ）に加えて、カタバミ、ヒメオドリコソウ、ヒルガオ、スミレ、カラスノエンドウ、ヘビイチゴ、タネツケバナ、キュウリグサ、ムラサキケマンの9種の花の学習用画像を判別器で扱えるようにした（計13種）。新たに加えた9種については計2600枚の学習用データを作成した。機械学習後には、性能評価用のスケッチ画が必要となる。これについては、11名の作業補助者を募り、計138枚の手書きスケッチ画を集めた。これをスキャナーでPCに取り込み、電子データ化して使用した。機械学習アルゴリズムに関しては、プロトタイプのものに修正を加え、コードを再構築した。判別器の判別能力は、プロトタイプでは最大85％に達していたが、新たに9種を加えた13種全体では47.1％に低下した。また、新たに加えた9種のみで判別を行うと、正答率は34.7％とさらに低下した。令和4年度は種数の増加を急いだため、1種当たりの学習用データ数が少なくなってしまったことが判別能力低下の原因と考えられる。今後、学習用データ数を増やして判別精度を上げていきたい。この他、令和４年度には、国立大学法人J附属中学校第1学年の1学級（36名）を対象に，理科第2分野「いろいろな生物とその共通点」の学習において，植物と動物のスケッチを紙とタブレットに描く授業実践を行い、対象学級の全生徒にアンケート調査を実施した。現在、アンケート調査結果を論文にまとめている。