多様な環境に適用可能なコンピュータビジョンと無線通信のクロスモーダルセンシング

2022年度は、無線通信に起因する不確実性の課題を解消し、様々な無線通信環境をイメージング可能な機械学習モデルを獲得する手法を確立するため、無線通信信号情報から推定対象領域のイメージングに寄与する情報を選択・抽出する方法、ならびに、無線通信信号情報から推定対象領域のイメージングを行う手法を検討した。一般的に機械学習では、入力情報を増やすことは精度向上につながる一方、推論結果に寄与しない特徴量はノイズとなり性能を低下させる要因となる他、入力次元数の増加は訓練に必要なデータ量を増加させる。本研究では機械学習による無線センシングにおいても上記の事象が発生することを実験的に示した。具体的には、無線センシング端末が多数設置された環境において、無線センシング端末を選択的に用いることで無線センシング精度が向上できることを示した。加えて、PCA等の次元圧縮手法を無線信号に適用することで、予測精度を高めることができることを示した。これらの知見をもとに無線信号と環境に関する断片的画像から観測対象環境全体をイメージングする手法を確立した。特に、カメラによる監視において、カメラ画像に大きな死角や欠損が生じた場合において、欠損箇所の正確な画像情報を無線信号を元に復元するRF-Inpainting技術を提案し、その有効性を実験的に示した。

2022年度は、無線通信に起因する不確実性の課題を解消し、様々な無線通信環境をイメージング可能な機械学習モデルを獲得する手法を確立するため、無線通信信号情報から推定対象領域のイメージングに寄与する情報を選択・抽出する方法、ならびに、無線通信信号情報から推定対象領域のイメージングを行う手法を検討した。一般的に機械学習では、入力情報を増やすことは精度向上につながる一方、推論結果に寄与しない特徴量はノイズとなり性能を低下させる要因となる他、入力次元数の増加は訓練に必要なデータ量を増加させる。本研究では機械学習による無線センシングにおいても上記の事象が発生することを実験的に示した。具体的には、無線センシング端末が多数設置された環境において、無線センシング端末を選択的に用いることで無線センシング精度が向上できることを示した。加えて、PCA等の次元圧縮手法を無線信号に適用することで、予測精度を高めることができることを示した。これらの知見をもとに無線信号と環境に関する断片的画像から観測対象環境全体をイメージングする手法を確立した。特に、カメラによる監視において、カメラ画像に大きな死角や欠損が生じた場合において、欠損箇所の正確な画像情報を無線信号を元に復元するRF-Inpainting技術を提案し、その有効性を実験的に示した。