深層学習による色覚障がい支援のための意味論的情報補償

使用深度学习支持色盲的语义信息补偿

• 批准号: 22K21274
• 负责人: 朱 臻陽
• 金额: $ 1.83万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-08-31 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21274/
• 关键词: 色覚補償; 意味論的情報; 拡張現実; 深層学習; 色覚障がい支援

本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．

This study で で, color 覚 obstruction が による による the information loss of meaning theory を compensation するために, deep learning モデ するために and び拡 zhang Augmented Reality AR) グラスを take れた input れた Color 覚 compensation technology color Communication Glasses (CC-Glasses) を development する とを とを purpose とする. Specific に は, (1) AR グ ラ ス compensation シ ス テ ム の 発, (2) the barrier が い person が using す る シ チ ュ エ ー シ ョ ン に close わ せ た use モ ー ド : explore モ ー ド と 検 cable モ ー ド の proposal, (3) two つ の use モ ー ド に take り れ る deep learning モ デ ル の learning の た め の デ ー タ セ ッ ト の made で あ る. This research project has a first-year objective of で で, 検 exploration of モ で ドに ドに extraction of <s:1> into れる technology <s:1> development of に extraction of んで group んで た た. When the モ ー ド で は, ユ ー ザ が weeks 囲 と の コ ミ ュ ニ ケ ー シ ョ ン を take the る に, session の color language 単 と オ ブ ジ ェ ク ト 単 language の ペ ア を using し, portrait into force か ら specified さ れ る オ ブ ジ ェ ク ト を see つ け し, AR グ ラ ス で ユ ー ザ に know ら せ る. When the モ ー ド に take り れ た deep learning モ デ ル を learning さ せ る た め に, color language 単 と オ ブ ジ ェ ク ト 単 language の ペ ア を containing ん だ デ ー タ セ ッ ト を made し た. Existing の イ ン ス タ ン ス セ グ メ ン テ ー シ ョ ン モ デ ル を using し, ソ ー シ ャ ル ネ ッ ト サ イ ト か ら 収 set し た portrait デ ー タ を semi-automatic に ア ノ テ ー シ ョ ン す る method proposed を し た. Proposal technology の unseen sex を 検 card す る た め に, color 覚 barrier が い を も つ together those に よ る main 観 review 価 be 験 を line っ た. Youdaoplaceholder0 そ achievements をまとめた papers をまとめた international conference Augmented Humans 2023 (h5-index: 17) に presentation 択され oral presentation を った

项目成果

Deep Learning and Augmented-Reality Glasses based Meat Cooking Support for Color Vision Disorder Compensation

• DOI: 10.1109/nicoint59725.2023.00019
• 发表时间: 2023-06
• 期刊: 2023 Nicograph International (NicoInt)
• 作者: Shota Chiba;Zhenyang Zhu;D. Inoue;Xiaoyang Mao

CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning

• DOI: 10.1145/3582700.3582707
• 发表时间: 2023-03
• 期刊: Proceedings of the Augmented Humans International Conference 2023
• 作者: Zhenyang Zhu;Jiyi Li;Ying Tang;K. Go;M. Toyoura;K. Kashiwagi;I. Fujishiro;Xiaoyang Mao

Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut

红绿二色镜的图像重新着色，具有基于补偿范围的自然度保留和精细的二色色域

• DOI: 10.1007/s00371-022-02549-4
• 发表时间: 2022
• 期刊: The Visual Computer
• 作者: Wangkang Huang;Zhenyang Zhu;Ligeng Chen;Kentaro Go;Xiaodiao Chen;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao