Advancement of Olfactory Interface Technologies: Automatic Content Creation Using AI

本研究では嗅覚インタフェースの高度化を目的とし，生放送番組にリアルタイムで匂いを付加することに挑戦する。そのために，嗅覚情報アノテーションシステムを実現して，映像から匂い源物体を自動検出し，提示すべき匂い情報を自動で付加することを目指す。また，少ない原料から多様な匂いを生成する技術を開発することや，クロスモーダル効果を利用して嗅覚情報の再現可能範囲を拡大することを試みる。本年度はまず，嗅覚情報アノテーションシステムの構築に取り組んだ。深層学習を用いた画像認識アルゴリズムYOLOv7により，映像の中から匂いを発しそうな物体を自動検出する。日本の日常生活において頻繁に遭遇する匂いの中から「コーヒー」「カレー」「花」「果実」「甘い菓子」「酢」「ニンニク」「醤油」「バター」「メントール」「線香」「木」の12種を代表として選び，それぞれ匂い源物体の画像を集め，深層学習用のデータセットを構築した。「コーヒー」「カレー」など，発する匂いが具体的で明確な物体については，7割以上の精度で検出できた。また，30種類程度の匂いを混合するとある一定の匂い（Olfactory White）に近づく現象に着目し，その調合比を変更して幅広い匂いの再現を目指した。複数のガスセンサの応答パターンを使って匂いを識別する電子嗅覚センシングシステム（Electronic Nose）を用い，再現したい匂いと応答パターンが一致するように，Olfactory Whiteを構成する30種の化合物蒸気の調合比を変更する。「焼き芋」「バラ」など5種の香料を対象として実験を行い，そのうち3種で応答パターンの再現に成功した。その他，微弱な匂いを容易に嗅ぎ分けることができるようにすることを目指し，匂い強度増強装置の開発を行った。また，深層学習を用いることで疎に配置した少数のガスセンサの応答から高空間分解能の匂い分布を推定する技術の開発にも取り組んだ。

本研究では嗅覚インタフェースの高度化を目的とし，生放送番組にリアルタイムで匂いを付加することに挑戦する。そのために，嗅覚情報アノテーションシステムを実現して，映像から匂い源物体を自動検出し，提示すべき匂い情報を自動で付加することを目指す。また，少ない原料から多様な匂いを生成する技術を開発することや，クロスモーダル効果を利用して嗅覚情報の再現可能範囲を拡大することを試みる。本年度はまず，嗅覚情報アノテーションシステムの構築に取り組んだ。深層学習を用いた画像認識アルゴリズムYOLOv7により，映像の中から匂いを発しそうな物体を自動検出する。日本の日常生活において頻繁に遭遇する匂いの中から「コーヒー」「カレー」「花」「果実」「甘い菓子」「酢」「ニンニク」「醤油」「バター」「メントール」「線香」「木」の12種を代表として選び，それぞれ匂い源物体の画像を集め，深層学習用のデータセットを構築した。「コーヒー」「カレー」など，発する匂いが具体的で明確な物体については，7割以上の精度で検出できた。また，30種類程度の匂いを混合するとある一定の匂い（Olfactory White）に近づく現象に着目し，その調合比を変更して幅広い匂いの再現を目指した。複数のガスセンサの応答パターンを使って匂いを識別する電子嗅覚センシングシステム（Electronic Nose）を用い，再現したい匂いと応答パターンが一致するように，Olfactory Whiteを構成する30種の化合物蒸気の調合比を変更する。「焼き芋」「バラ」など5種の香料を対象として実験を行い，そのうち3種で応答パターンの再現に成功した。その他，微弱な匂いを容易に嗅ぎ分けることができるようにすることを目指し，匂い強度増強装置の開発を行った。また，深層学習を用いることで疎に配置した少数のガスセンサの応答から高空間分解能の匂い分布を推定する技術の開発にも取り組んだ。