Automated Manga Transcription System for the Visually Impaired that Utilizes Emotions and Scenes

本研究の目的は視覚障害者のたまのマンガ自動音訳システムの構築である。2019年、日本では「読書バリアフリー法」が成立した。この法律は、視覚障害者や読書が困難な人々が快適に読書をする環境を整えるものである。社会的マイノリティでも、学習機会を失ってはならない。日本では、出版物の１/3はマンガであると言われており、人々の話題になることが多いが、視覚障害者のためのマンガ音訳は非常に少ない。これまで絵や写真といったビジュアル表現を音訳することは、自動化することが困難であった。どらくらいの情報を翻訳するかは、翻訳者の能力に依存していた。近年、ディープラーニングの精度が飛躍的に向上し、安定した精度で写真や絵の識別が可能になったマンガの自動音訳システムにより、これまで数が少なかった共通する体験を持つことは障害者の社会的孤立を防ぐことが期待できる。令和４年度は①マンガ音訳における適切な情報量の検討と、②吹き出しとコマの順位付け基本的な読み上げ順のルール作りを行い、読み上げシステムの構築に取り組んだ。自動音訳するにあたり、図と文字の情報量からマンガを４分類し、本システムを構築するにあたり扱いやすい作品を検討した。文字数が少ない漫画は、絵の魅力で見せる漫画が多く、絵から読み取る情報が多くなる。このようなマンガ表現は、テキストを中心に自動翻訳システムを構築しようとする本研究の方針と異なるため除外し進めることを確認した。吹き出しとコマの順位づけについては、マンガの学術研究使用を目的に公開されているデータセットであるManga109のアノテーションデータを活用し座標軸から読みとるシステムを開発した。

本研究の目的は視覚障害者のたまのマンガ自動音訳システムの構築である。2019年、日本では「読書バリアフリー法」が成立した。この法律は、視覚障害者や読書が困難な人々が快適に読書をする環境を整えるものである。社会的マイノリティでも、学習機会を失ってはならない。日本では、出版物の１/3はマンガであると言われており、人々の話題になることが多いが、視覚障害者のためのマンガ音訳は非常に少ない。これまで絵や写真といったビジュアル表現を音訳することは、自動化することが困難であった。どらくらいの情報を翻訳するかは、翻訳者の能力に依存していた。近年、ディープラーニングの精度が飛躍的に向上し、安定した精度で写真や絵の識別が可能になったマンガの自動音訳システムにより、これまで数が少なかった共通する体験を持つことは障害者の社会的孤立を防ぐことが期待できる。令和４年度は①マンガ音訳における適切な情報量の検討と、②吹き出しとコマの順位付け基本的な読み上げ順のルール作りを行い、読み上げシステムの構築に取り組んだ。自動音訳するにあたり、図と文字の情報量からマンガを４分類し、本システムを構築するにあたり扱いやすい作品を検討した。文字数が少ない漫画は、絵の魅力で見せる漫画が多く、絵から読み取る情報が多くなる。このようなマンガ表現は、テキストを中心に自動翻訳システムを構築しようとする本研究の方針と異なるため除外し進めることを確認した。吹き出しとコマの順位づけについては、マンガの学術研究使用を目的に公開されているデータセットであるManga109のアノテーションデータを活用し座標軸から読みとるシステムを開発した。