Optical skin: 光と深層学習によるマルチモーダルソフトセンシング

本研究では、多様で複雑な外界刺激を的確に分離し且つ同時に検出可能なソフト・マルチモーダルセンシング手法の創出を目指している。本提案の骨子は、光スペックルによる符号化と深層学習により外界情報を推定することであり、接触力、接触位置、温度などの物理情報が、ミリニュートン、マイクロメートルオーダーの精度で同時に検出できることを明らかにしている。この結果に基づき、直径数cm程度の半球上の光マルチモーダル触覚センサを制作した。本センサはシリコーンゴムにより構成され、背景光を除去するためのコーティングも施している。本センサには、光ファイバを通じて光を入射するとシリコーン内部での散乱が生じる。その散乱パターンを測定するための小型カメラも搭載している。上述のように、触覚、温度を含む様々な情報が１つのセンサで同時に推定可能であるため、本センサをロボットアームの指として搭載することで、接触物質の判別ができるかを調べた。スペックルパターンから接触物質を推定するためのモデルとしては、CNNによる深層学習モデルを用いた。原理検証として、本センサをロボットハンドに搭載し、紙、アルミ、やすり、アクリルなどの素材を複数回接触させて、学習用データを取得した。結果として、本手法により98%以上の精度で材料の推定が可能であった。また、高精度の材料特定が可能となる条件を明らかにするため、スペックルイメージの前処理、平均化、学習用データ数の依存性などの系統的な調査も行なった。スペックルパターンと材料との関係においては、t-SNEによる低次元化手法を援用して、２層のCNNによる演算後に各材料の特徴をよく分離できるようになることも明らかにした。以上のように、本提案センサは、光干渉の高感度を利用して多様な物理量・接触物質を特定できる性質を有する。ロボットハンドでの触覚センサ応用に対する期待の持てる結果もえた。

本研究では、多様で複雑な外界刺激を的確に分離し且つ同時に検出可能なソフト・マルチモーダルセンシング手法の創出を目指している。本提案の骨子は、光スペックルによる符号化と深層学習により外界情報を推定することであり、接触力、接触位置、温度などの物理情報が、ミリニュートン、マイクロメートルオーダーの精度で同時に検出できることを明らかにしている。この結果に基づき、直径数cm程度の半球上の光マルチモーダル触覚センサを制作した。本センサはシリコーンゴムにより構成され、背景光を除去するためのコーティングも施している。本センサには、光ファイバを通じて光を入射するとシリコーン内部での散乱が生じる。その散乱パターンを測定するための小型カメラも搭載している。上述のように、触覚、温度を含む様々な情報が１つのセンサで同時に推定可能であるため、本センサをロボットアームの指として搭載することで、接触物質の判別ができるかを調べた。スペックルパターンから接触物質を推定するためのモデルとしては、CNNによる深層学習モデルを用いた。原理検証として、本センサをロボットハンドに搭載し、紙、アルミ、やすり、アクリルなどの素材を複数回接触させて、学習用データを取得した。結果として、本手法により98%以上の精度で材料の推定が可能であった。また、高精度の材料特定が可能となる条件を明らかにするため、スペックルイメージの前処理、平均化、学習用データ数の依存性などの系統的な調査も行なった。スペックルパターンと材料との関係においては、t-SNEによる低次元化手法を援用して、２層のCNNによる演算後に各材料の特徴をよく分離できるようになることも明らかにした。以上のように、本提案センサは、光干渉の高感度を利用して多様な物理量・接触物質を特定できる性質を有する。ロボットハンドでの触覚センサ応用に対する期待の持てる結果もえた。