Research of feature extractable image sensor for deep learning-based image recognition

極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため，2022年度は実証TEGの設計を行った．画像認識モードは，特徴量として一次微分フィルタ画像を出力可能な画素，定常電流を消費しない画素ソースフォロファ回路およびA/D変換器，から構成している．また，特徴量データセットを生成し，畳込みニューラルネットワーク(CNN)に学習させることで，データ量を大幅に削減しても高い認識精度が得られる目途を得た．- 実証TEG設計において，通常画像を読み出す際には33.3uAの消費電流が必要な画素読み出し回路を，特徴量モードでは0.317uAと極めて低い消費電力で読み出し可能な目途を得た．A/D変換器は試作チップの評価を完了した．実証TEG設計は完了しているが，半導体不足などのため試作日程が遅延しており，試作は2023年度を予定している．- 2021年度は公開されている学習済みニューラルネットワークを用いて画像認識を試行したが認識率は5%程度と低くなることが分かった．今年度は，公開されているPersonデータセットを特徴量データセットに変換し，特徴量学習済みCNNを作成し画像分類を行ったところ，従来画像の分類精度が98.3%であるのに対して，特徴量はデータ量を95%削減しても認識精度は96.9%と非常に高い分類精度を実現できることを示した．特徴量データセットは，公開データセットを変換することで容易に生成可能であり，学習済みネットワークを低コストで作成することが可能である．- 2021年度に検討した小面積画素の駆動方法および読み出し方法を検討し，イメージセンサの出力データ量を通常画像の1/16に低減する手法を考案した．2023年度はこの手法をもとに，大規模データセットを特徴量データセットに変換し，物体認識モデルを学習することで，複雑な画像認識問題に取り組むことを予定している．

極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため，2022年度は実証TEGの設計を行った．画像認識モードは，特徴量として一次微分フィルタ画像を出力可能な画素，定常電流を消費しない画素ソースフォロファ回路およびA/D変換器，から構成している．また，特徴量データセットを生成し，畳込みニューラルネットワーク(CNN)に学習させることで，データ量を大幅に削減しても高い認識精度が得られる目途を得た．- 実証TEG設計において，通常画像を読み出す際には33.3uAの消費電流が必要な画素読み出し回路を，特徴量モードでは0.317uAと極めて低い消費電力で読み出し可能な目途を得た．A/D変換器は試作チップの評価を完了した．実証TEG設計は完了しているが，半導体不足などのため試作日程が遅延しており，試作は2023年度を予定している．- 2021年度は公開されている学習済みニューラルネットワークを用いて画像認識を試行したが認識率は5%程度と低くなることが分かった．今年度は，公開されているPersonデータセットを特徴量データセットに変換し，特徴量学習済みCNNを作成し画像分類を行ったところ，従来画像の分類精度が98.3%であるのに対して，特徴量はデータ量を95%削減しても認識精度は96.9%と非常に高い分類精度を実現できることを示した．特徴量データセットは，公開データセットを変換することで容易に生成可能であり，学習済みネットワークを低コストで作成することが可能である．- 2021年度に検討した小面積画素の駆動方法および読み出し方法を検討し，イメージセンサの出力データ量を通常画像の1/16に低減する手法を考案した．2023年度はこの手法をもとに，大規模データセットを特徴量データセットに変換し，物体認識モデルを学習することで，複雑な画像認識問題に取り組むことを予定している．