Spot context collection through multi-modal sensing and mobile federated learning

点击翻译按钮获取中文摘要

従来のユーザ参加型センシングは、収集したデータを価値のある情報に変えるためにはサーバ側での蓄積・分析が必要であった（課題1）。また、モデルの学習のため、ユーザは位置情報や写真などプライバシー情報を含むデータの提供が必要であった（課題2）。一方で、参加型センシングを観光ナビゲーションサービスに応用するためには、各観光スポットの最新かつ詳細なハイレベルコンテキストの継続的な取得・共有が求められる（課題3）。本研究では、ユーザが日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト（混雑、風景や人の感情等）をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスと連合学習により共有することでこれらの課題を解決することを目的としている。目的達成のため、本研究では、WP1: 機能要件の整理と定義、WP2: モバイルマルチモーダルセンシング、WP3: ハイレベルコンテキスト推定、WP4: モバイルフェデレーションAI、WP5: ソフトウェア基盤、WP6: 実証実験、の6つの研究開発項目 (WP) を設定している。2022年度は、項目WP2－WP6の研究を実施した。WP2、WP3に関して、場所の状況、人の感情を推定するために必要なデータを収集する機構の設計・開発と、観光地にて取得したマルチモーダルデータから、観光客の感情と満足度を推定する手法を開発した。WP4に関しては、場所の状況認識モデルをモバイルデバイスで学習・認識・共有する連合学習機構のプロトタイプを開発した。WP5に関しては、上記の機構を統合するソフトウェアを引き続き開発中である。WP6では、ユースケースシナリオの設計開発と、アプリケーションの実装を行った。また、小規模の実証実験を実施し、提案システムの有効性や改善点などを明らかにした。