深層学習による色覚障がい支援のための意味論的情報補償

本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．

本研究では，色覚障がいによる意味論的情報損失を補償するために，深層学習モデル及び拡張現実（Ａｕｇｍｅｎｔｅｄ-Ｒｅａｌｉｔｙ，ＡＲ）グラスを取り入れた色覚補償技術Ｃｏｌｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｇｌａｓｓｅｓ （ＣＣ－Ｇｌａｓｓｅｓ）を開発することを目的とする．具体的には，（１）ＡＲグラス補償システムの開発，（２）障がい者が利用するシチュエーションに合わせた使用モード：探索モードと検索モードの提案，（３）二つの使用モードに取り入れる深層学習モデルの学習のためのデータセットの作成である．本研究課題の１年目では，検索モードに取り入れる技術の開発に取り組んできた．当該モードでは，ユーザが周囲とのコミュニケーションを取る際に，会話中の色単語とオブジェクト単語のペアを利用し，入力画像から指定されるオブジェクトを見つけ出し，ＡＲグラスでユーザに知らせる．当該モードに取り入れた深層学習モデルを学習させるために，色単語とオブジェクト単語のペアを含んだデータセットを作成した．既存のインスタンスセグメンテーションモデルを利用し，ソーシャルネットサイトから収集した画像データを半自動的にアノテーションする方法を提案した．提案技術の有効性を検証するために，色覚障がいをもつ協力者による主観評価実験を行った．その成果をまとめた論文は国際会議Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎｓ ２０２３ （ｈ５-ｉｎｄｅｘ：１７）に採択され，口頭発表を行った．