深層学習による色覚障がい支援のための意味論的情報補償

使用深度学习支持色盲的语义信息补偿

• 批准号: 22K21274
• 负责人: 朱 臻陽
• 金额: $ 1.83万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-08-31 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21274/
• 关键词: 色覚補償; 意味論的情報; 拡張現実; 深層学習; 色覚障がい支援

本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．

这项研究旨在开发彩色补偿技术（CC玻璃），该技术结合了深度学习模型和增强现实（AR）眼镜，以补偿彩色视觉障碍引起的语义信息损失。具体来说，这些是（1）AR玻璃补偿系统的开发，（2）使用模式：根据残疾人使用的情况，搜索模式和搜索模式的建议，以及（3）创建用于学习深度学习模型的数据集，并将其纳入两种用法模式。在本研究主题的第一年，我们一直在开发将它们纳入搜索模式的技术。在这种模式下，当用户与他人通信时，对话期间一对彩色和对象单词用于从输入图像中找到指定的对象，并使用AR玻璃通知用户。为了训练已纳入此模式的深度学习模型，创建了包含彩色和对象单词对的数据集。我们提出了一种使用现有实例分割模型的方法，以从社交网络站点收集的半自动注释图像数据。为了验证所提出的技术的有效性，我们进行了与彩色视觉障碍的合作者进行的主观评估实验。该论文总结了该结果在国际会议增强人类2023年（H5-Index：17）上采用，并进行了口头介绍。

项目成果

Deep Learning and Augmented-Reality Glasses based Meat Cooking Support for Color Vision Disorder Compensation

• DOI: 10.1109/nicoint59725.2023.00019
• 发表时间: 2023-06
• 期刊: 2023 Nicograph International (NicoInt)
• 作者: Shota Chiba;Zhenyang Zhu;D. Inoue;Xiaoyang Mao

CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning

• DOI: 10.1145/3582700.3582707
• 发表时间: 2023-03
• 期刊: Proceedings of the Augmented Humans International Conference 2023
• 作者: Zhenyang Zhu;Jiyi Li;Ying Tang;K. Go;M. Toyoura;K. Kashiwagi;I. Fujishiro;Xiaoyang Mao

Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut

红绿二色镜的图像重新着色，具有基于补偿范围的自然度保留和精细的二色色域

• DOI: 10.1007/s00371-022-02549-4
• 发表时间: 2022
• 期刊: The Visual Computer
• 作者: Wangkang Huang;Zhenyang Zhu;Ligeng Chen;Kentaro Go;Xiaodiao Chen;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao