AIR-Glasses：AI-ARを用いた視知覚ベース個別適応型色覚情報補償技術

AIR-Glasses：使用AI-AR的基于视觉感知的个体自适应色觉信息补偿技术

• 批准号: 22H00549
• 负责人: 茅 暁陽
• 金额: $ 26.87万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2027-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00549/
• 关键词: 色覚障害補償; 画像色変換

色覚障害（color vision deficiency、 CVD）は、網膜上に分布する錐体細胞の欠損や異常により生じ、色の区別を困難にするため、職業が制限されたり、他人とのコミュニケーションが困難になったり、危険に晒されるなど、Qolを大きく低下させる。本研究では最新の深層学習技術を活用し、個人の色覚障害の度合いに適応した色覚補償技術に加え、シーン中の物体の色覚特徴まで認識し、拡張現実感技術(Augmented Reality、 AR)を用いて可視化することで、意思決定や健常者とのシームレスなコミュニケーションを支援する技術を開発する。令和４年度の実績は以下の通りである。課題（A）の個人の障害レベルへの適応については、CVDシミュレーションモデルを用いてコントラス損失を算出し、検査に利用できる画像集を作成した。また、既存の開発済RGB色空間に基づく障害レベル適応コントラスト補償アルゴリズムを人間の視覚特性により一致するLab色空間に拡張した。課題（B）の知覚評価に対応した個人適応型補償モデルの開発においては、まず教師なし学習に基づく色覚補償画像生成深層学習モデルを開発した。主観評価を反映するための色変換モデルについて、利用可能な既存モデルの調査を行い、選定を行った。課題（C）の色識別とコンミュニケーション支援については、既存の物体検出とテキストによる物体参照用深層学習モデルを拡張し、物体の色を認識し、他者と色情報を共有できる意味論的色覚情報補償技術を開発した。また、学習用データ集の作成も行った。色単語と物体単語のペアのテキスト情報が付与されている画像をFlickrから取得し、ラベルを自動的に付与した後、健常者によるスクリーニングを行い、データ集の品質を向上させた。

Color vision deficiency (CVD) is a major cause of abnormal distribution of pyramidal cells in the retina. It is difficult to distinguish between color and color. It is difficult to control other people's color. It is dangerous to reduce the quality of color. This study develops techniques for applying the latest deep learning techniques to the integration of individual color impairments, color compensation techniques, and Augmented reality (AR) techniques for visualization, rational decision-making, and healthy individuals. The following are the results of the fourth year. The problem (A) is to calculate the loss of the individual's impairment and to create a set of portraits for investigation and utilization. In addition, the existing RGB color space is based on the color space of the Lab color space. Subject (B): Knowledge evaluation, development of individual adaptive compensation, development of teacher learning, generation of basic color compensation, development of deep learning. The main evaluation is to reflect the color change of the object, to make use of the existing object investigation, to select the object. Subject (C) color recognition, color information support, color information compensation technology for existing object detection, object reference, deep learning, color recognition of objects, color information sharing of others, etc.また、学习用データ集の作成も行った。Color and object categories are available on Flickr, automatically available on Flickr, and available on Flickr

项目成果

深層学習を用いた肉の焼け具合の推定

使用深度学习估计肉的熟度

• 发表时间: 2022
• 作者: Ezawa Yuki;Kakei Shohei;Shiraishi Yoshiaki;Mohri Masami;Morii Masakatu;千葉 翔太，茅 暁陽
• 通讯作者: 千葉 翔太，茅 暁陽

Image recoloring for Red-Green dichromats with compensation range-based naturalness preservation and refined dichromacy gamut

红绿二色镜的图像重新着色，具有基于补偿范围的自然度保留和精细的二色色域

• DOI: 10.1007/s00371-022-02549-4
• 发表时间: 2022
• 期刊: The Visual Computer
• 作者: Wangkang Huang;Zhenyang Zhu;Ligeng Chen;Kentaro Go;Xiaodiao Chen;Xiaoyang Mao
• 通讯作者: Xiaoyang Mao

計算眼科学

计算眼科

CC-Glasses: Color Communication Support for People with Color Vision Deficiency Using Augmented Reality and Deep Learning

• DOI: 10.1145/3582700.3582707
• 发表时间: 2023-03
• 期刊: Proceedings of the Augmented Humans International Conference 2023
• 作者: Zhenyang Zhu;Jiyi Li;Ying Tang;K. Go;M. Toyoura;K. Kashiwagi;I. Fujishiro;Xiaoyang Mao

杭州電子科技大学(中国)

杭州电子科技大学（中国）