权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Automated Manga Transcription System for the Visually Impaired that Utilizes Emotions and Scenes

利用情感和场景为视障人士提供自动漫画转录系统

基本信息

批准号：
22K12939
负责人：
新井浩
金额：
$ 2.66万
依托单位：
Kinjo College
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12939/
关键词：
視覚障害音訳マンガディープラーニング漫符

项目摘要

本研究の目的は視覚障害者のたまのマンガ自動音訳システムの構築である。2019年、日本では「読書バリアフリー法」が成立した。この法律は、視覚障害者や読書が困難な人々が快適に読書をする環境を整えるものである。社会的マイノリティでも、学習機会を失ってはならない。日本では、出版物の１/3はマンガであると言われており、人々の話題になることが多いが、視覚障害者のためのマンガ音訳は非常に少ない。これまで絵や写真といったビジュアル表現を音訳することは、自動化することが困難であった。どらくらいの情報を翻訳するかは、翻訳者の能力に依存していた。近年、ディープラーニングの精度が飛躍的に向上し、安定した精度で写真や絵の識別が可能になったマンガの自動音訳システムにより、これまで数が少なかった共通する体験を持つことは障害者の社会的孤立を防ぐことが期待できる。令和４年度は①マンガ音訳における適切な情報量の検討と、②吹き出しとコマの順位付け基本的な読み上げ順のルール作りを行い、読み上げシステムの構築に取り組んだ。自動音訳するにあたり、図と文字の情報量からマンガを４分類し、本システムを構築するにあたり扱いやすい作品を検討した。文字数が少ない漫画は、絵の魅力で見せる漫画が多く、絵から読み取る情報が多くなる。このようなマンガ表現は、テキストを中心に自動翻訳システムを構築しようとする本研究の方針と異なるため除外し進めることを確認した。吹き出しとコマの順位づけについては、マンガの学術研究使用を目的に公開されているデータセットであるManga109のアノテーションデータを活用し座標軸から読みとるシステムを開発した。

The purpose of this study is to construct a system for visual impairment. In 2019, Japan's anti-book law was established. The law, the law. The society is full of opportunities for learning. Japan, publications 1/3 This is the first time I've ever seen a picture of you. The ability of a person to change information depends on the ability of the person to change information. In recent years, the accuracy of the photo shoot has improved greatly, and the accuracy of the photo shoot has been stabilized. The identification of the photo shoot has been possible. The number of the photo shoot has been reduced. The isolation of the common society has been expected. In the fourth year of this year, we will discuss the appropriate amount of information, the basic information and the construction of the system. The amount of information in the text is divided into four categories: The number of characters is less, the charm is more, the information is more. This study is based on the analysis of the results of the study. In order to open up the scientific research and use of Manga109, the coordinate axis is opened up.