パーソナルモビリティを対象とした搭乗者の視認対象物の可視化と周辺環境認知状態推定

乘客可见物体的可视化和周边环境识别状态的估计以实现个人移动

• 批准号: 22K04018
• 负责人: 山崎 彬人
• 金额: $ 2.66万
• 依托单位: Meijo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04018/
• 关键词: パーソナルモビリティ; 顔向き推定; ドライバ状態; 認知状態推定; 運転支援; 画像処理; 視認推定; 運転行動分析

本研究ではパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的としている．令和4年度は，以下のことを行った．まず，実験車両の整備を行った．本研究で対象とするパーソナルモビリティの一つであるハンドル型電動車いすを実験車両とし，搭乗者の顔画像を撮影する単眼カメラおよび，車両前方を撮影するためのステレオカメラを設置した．また，周辺環境認識用に全方位カメラおよびLiDARを車両前方と後方に各１台ずつ設置することにより，車両全方位のカメラ画像および３次元点群座標を取得可能とした．作成した実験車両を用いて，搭乗者の顔画像，車両周辺のステレオ及び全方位画像，LiDARによる3次元座標を含む走行データを取得した．次に取得したLiDARの3次元点群を用いたSLAM，全方位カメラの映像を用いたVisual SLAMによる自己位置推定，ステレオカメラによって得られた映像から車両前方の歩行者のリアルタイム検出および検出した歩行者までの距離推定を可能とするシステムの試作を行った．また，単眼カメラによって取得した搭乗者の顔画像を用いた顔向き推定および視線方向を推定するシステムの開発を行った．その他，搭乗者が装着型の視線計測装置を装着した状態で実験車両を運転し，搭乗者の視線および前方映像データの取得を行った．取得したデータを解析し，パーソナルモビリティ搭乗時に搭乗者がどこを視認しているかの視線データの分析を行った．

This study aims to estimate the presence or absence of visual objects in the surrounding environment, and to estimate the cognitive state of the objects. In the fourth year of the year, the following actions were taken.まず，実験车両の整备を行った. In this study, the object of the study is to actually drive a Handel-type electric vehicle with a single-eye menu that takes a picture of the rider's face and a stele menu that takes a picture of the front of the vehicle. 1 set in front of and 1 set in rear of the vehicle for the purpose of understanding the environment around the vehicle. 1 set in front of and 1 set in rear of the vehicle for the purpose of understanding the environment around the vehicle. 1 set in front of and 1 set in rear of the vehicle for the purpose of understanding the environment around the vehicle. 1 set in front of and 1 set in rear of the vehicle for the purpose of understanding the environment around the vehicle. 1 set in front of and 1 set in front of and 1 set in rear of the vehicle for the purpose of understanding the environment around the vehicle. 1 set in front of and 1 set in rear of and 1 set in front of and 1 set in front Make sure you have the right 3D coordinates. The third dimensional point group of LiDAR is obtained by using SLAM, and the image of the omni-directional map is used by Visual SLAM to estimate its position. The image of the omni-directional map is obtained by using Visual SLAM to estimate the distance of the pedestrian in front of the vehicle. The development of the system is based on the estimation of the direction of the eye and the direction of the line of sight. In addition, the driver is equipped with a type of vision measuring device, which is equipped with a state of operation, and the driver is equipped with a vision measuring device and a front image measuring device. Get the resolution of the image, and the resolution of the image.

项目成果

混雑環境下における複数カメラを用いた電動車いすの自己位置推定

拥挤环境下多摄像头电动轮椅自身位置估计

• 发表时间: 2022
• 作者: Mitsuda Takashi、Ritsumeikan University 1-1-1 Noji-higashi;Kusatsu;Shiga 525-8577;Japan;河村 拓海，山崎 彬人，小竹 元基，相馬 仁
• 通讯作者: 河村 拓海，山崎 彬人，小竹 元基，相馬 仁