Vision-Aided Frame-Capture-Based CSI Recomposition for WiFi Sensing: A Multimodal Approach
Vision-Aided Frame-Capture-Based CSI Recomposition for WiFi Sensing: A Multimodal Approach
复制标题
用于 WiFi 传感的基于视觉辅助帧捕获的 CSI 重组：一种多模态方法
DOI：
10.1109/ccnc51644.2023.10060680
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Taya Akihito
中科院分区：
文献类型：
--
作者：
Shimomura Hiroki;Koda Yusuke;Kanda Takamochi;Yamamoto Koji;Nishio Takayuki;Taya Akihito
从波束成形反馈矩阵（BFM）重新组合信道状态信息（CSI）是实现与固件无关的WiFi感测的替代方式，波束成形反馈矩阵（BFM）是CSI的压缩版本并且由于其缺乏加密而可以被捕获。在这项研究中，我们提出了使用相机图像对CSI重组BFM的准确性增强。这种视觉辅助CSI重组的主要动机是得出第一手的见解，即BFM并不完全涉及空间信息来重组CSI，并且这可以通过相机图像来补偿。为了利用相机图像，我们使用多模态深度学习。我们进行了实验，使用IEEE 802.11ac设备，并透露，所提出的多模态框架的重组精度相比，提高了单模态框架，只使用图像或BFM。
Recomposing channel state information (CSI) from the beamforming feedback matrix (BFM), which is a compressed version of CSI and can be captured because of its lack of encryption, is an alternative way of implementing firmware-agnostic WiFi sensing. In this study, we propose the use of camera images toward the accuracy enhancement of CSI recomposition from BFM. The key motivation for this vision-aided CSI recomposition is to draw a first-hand insight that the BFM does not fully involve spatial information to recompose CSI and that this could be compensated by camera images. To leverage the camera images, we use multimodal deep learning. We conducted experiments using IEEE 802.11ac devices and revealed that the recomposition accuracy of the proposed multimodal framework is improved compared to the single-modal framework only using images or BFMs.
基于波束成形反馈的模型驱动的出发角估计，实现与固件无关的 WiFi 传感
DOI：
--
发表时间：
2021
期刊：
ArXiv
影响因子：
--
作者：
Sohei Itahara;T. Nishio;Koji Yamamoto
通讯作者：
Koji Yamamoto
能够使用深度学习从面部照片中区分阿尔茨海默病
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
Manabu Kokubo;Akihiro Hirashiki;Takahiro Kamihara;Atsuya Shimizu;Hidenori Arai;亀山祐美,亀山征史,深澤誠,飯塚友道,飯島勝矢,田中友規,矢可部満隆,小島太郎,小川純人,秋下雅弘
通讯作者：
亀山祐美,亀山征史,深澤誠,飯塚友道,飯島勝矢,田中友規,矢可部満隆,小島太郎,小川純人,秋下雅弘