AIR-Glasses：AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術

AIR-Glasses：使用AI-AR的基于视觉感知的个体自适应色觉信息补偿技术

• 批准号: 22H00549
• 负责人: 茅 暁陽
• 金额: $ 26.87万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2027-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00549/
• 关键词: 色覚障害補償; 画像色変換

色覚障害（color vision deficiency、 CVD）は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和４年度の実績は以下の通りである。課題（A）の個人の障害レベルへの適応については、CVDシミュレーションモデルを用いてコントラス損失を算出し、検査に利用できる画像集を作成した。また、既存の開発済RGB色空間に基づく障害レベル適応コントラスト補償アルゴリズムを人間の視覚特性により一致するLab色空間に拡張した。課題（B）の知覚評価に対応した個人適応型補償モデルの開発においては、まず教師なし学習に基づく色覚補償画像生成深層学習モデルを開発した。主観評価を反映するための色変換モデルについて、利用可能な既存モデルの調査を行い、選定を行った。課題（C）の色識別とコンミュニケーション支援については、既存の物体検出とテキストによる物体参照用深層学習モデルを拡張し、物体の色を認識し、他者と色情報を共有できる意味論的色覚情報補償技術を開発した。また、学習用データ集の作成も行った。色単語と物体単語のペアのテキスト情報が付与されている画像をFlickrから取得し、ラベルを自動的に付与した後、健常者によるスクリーニングを行い、データ集の品質を向上させた。

由于分布在视网膜上的锥细胞中的缺陷或异常，发生色将缺乏症（CVD），因此很难区分颜色，从而大大降低了QOL的颜色，例如限制职业，难以与他人交流或使其处于风险中。这项研究使用最新的深度学习技术来开发一种技术，该技术通过识别现场对象的色觉特征并使用增强现实（AR）来支持与健康人员的无缝沟通。 2022财政年度的结果如下。关于对任务（a）中个人残疾水平的适应，使用CVD仿真模型计算了对比度损失，并创建了可用于检查的图像收集。此外，我们将基于现有开发的RGB颜色空间的失败水平自适应对比补偿算法扩展到了与更具人类视觉特征相匹配的实验室色彩空间。在开发与任务感知评估相对应的个人自适应补偿模型（b）时，我们首先开发了一个基于无监督学习的彩觉补偿图像生成的深度学习模型。我们研究了现有的可用模型和选定的颜色转换模型，以反映主观评估。关于任务的颜色识别和通信支持（C），我们扩展了现有的深度学习模型，以供对象检测和文本参考对象，并开发了一种语义色觉信息补偿技术，该技术使我们能够识别对象的颜色并与他人共享颜色信息。我们还创建了研究数据的集合。带有彩色和对象单词对的文本信息的图像是从Flickr获得的，自动分配标签，并由健康个体进行筛选以提高数据收集的质量。

项目成果

深層学習を用いた肉の焼け具合の推定

使用深度学习估计肉的熟度

• 发表时间: 2022
• 作者: Ezawa Yuki;Kakei Shohei;Shiraishi Yoshiaki;Mohri Masami;Morii Masakatu;千葉 翔太，茅 暁陽
• 通讯作者: 千葉 翔太，茅 暁陽

Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut

红绿二色镜的图像重新着色，具有基于补偿范围的自然度保留和精细的二色色域

• DOI: 10.1007/s00371-022-02549-4
• 发表时间: 2022
• 期刊: The Visual Computer
• 作者: Wangkang Huang;Zhenyang Zhu;Ligeng Chen;Kentaro Go;Xiaodiao Chen;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao

計算眼科学

计算眼科

A Study on Contextual Task Performance of Simulated Homonymous Hemianopia Patients with Computational Glasses-based Compensation

基于计算眼镜补偿的模拟同向偏盲患者情境任务表现研究

• DOI: 10.1145/3574131.3574441
• 发表时间: 2022
• 期刊: ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry (VRCAI)
• 作者: Chao Ge;Zhenyang Zhu;Keisuke Ichinose;Issei Fujishiro;Kentaro Go;Kenji Kashiwagi;Masahiro Toyoura;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao

CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning

• DOI: 10.1145/3582700.3582707
• 发表时间: 2023-03
• 期刊: Proceedings of the Augmented Humans International Conference 2023
• 作者: Zhenyang Zhu;Jiyi Li;Ying Tang;K. Go;M. Toyoura;K. Kashiwagi;I. Fujishiro;Xiaoyang Mao