ローカルなセンシングとクラウドにおける背景知識の相互作用に基づくロボットの知能化

基于本地感知与云端背景知识交互的机器人智能

• 批准号: 12J09813
• 负责人: アッタミミ ムハンマド
• 金额: $ 1.73万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J09813/
• 关键词: 確率統計; 教師なし学習; マルチモーダル学習・認識; 行動決定; 階層物体認識; マルチモーダル; クラウドロボティクス

今年度は，前年度で開発した視覚認識システムを発展させ，視覚情報の他に聴覚や触覚情報などを利用したマルチモーダルな認識・学習手法を提案した．提案手法は，MLDA（Multimodal Latent Dirichlet Allocation）を階層化したmMLDA（multilayered MLDA）である．下層のMLDAでは下位概念である，物体や動きなどの概念（「カテゴリ」）がそれぞれ形成され，上層の MLDA ではこれらの概念を統合する上位概念が形成される．これより例えば，下位概念として「飲み物」という物体概念や「物を口に運ぶ」という動き概念などが形成される．上位層ではこれらの関係性が学習され，「飲む」という動作概念が形成される．また，「飲み物」を見ることで「それを口に運ぶ」という動きや「飲む」という動作などといった未観測情報の予測を行うことが可能となる．この内容に関して，国内及び国外で既に発表し，論文誌に掲載された．さらに，mMLDAより形成された多様な概念を利用し，同時に語意や文法を獲得することで，観測したシーンを文章で表現する手法を提案する．ここで扱う問題は，階層的な概念における語意の獲得であり，どの階層のどの概念にどの単語が結び付くかという問題を解く必要がある．提案手法では，単語と概念間の相互情報量を用いる．これによって，どの単語が本来どの概念に結び付いているのかを自動的に推定することが可能であり，各単語に対応する，物体，場所や人などといった概念クラスの推定が可能である．従って，教示発話における概念クラスの生起順を学習することで，概念クラスの遷移確率という形で表現される確率文法を学習することができる．これによって，ロボットによる言語の意味理解や生成を実現することが可能となる．この内容に関して，国内及び国外で既に発表し，論文誌へ投稿する予定である．

Our は ", the first annual で open 発 し た apparent 覚 know シ ス テ ム を 発 exhibition さ せ, apparent 覚 intelligence の he に hearing や touch 覚 intelligence な ど を using し た マ ル チ モ ー ダ ル な know, learning methods proposed を し た. Proposal techniques, MLDA (Multimodal Latent Dirichlet Allocation) を hierarchical たmMLDA (multilayered MLDA) である. A concept under the lower の MLDA で は で あ る, object dynamic き や な ど の concept (" カ テ ゴ リ ") が そ れ ぞ れ form さ れ, upper の MLDA で は こ れ ら の integration concept を す る upper concept が form さ れ る. こ れ よ り example え ば, under a concept と し て と "drink み matter" い う object concept や "を mouth に transported ぶ" と い う dynamic き な ど が form さ れ る. Department of upper layer で は こ れ ら の masato さ が learning れ, "drink む と" い う movement concept が form さ れ る. ま た, see "drink み content" を る こ と で "そ れ に luck ぶ" を mouth と い う dynamic き や "drink む と" い う action な ど と い っ た を not intelligence の 観 test to test line う こ と が may と な る. The content of the に に is related to the て, both domestic and び foreign で and に are related to the て, published in the に journal of papers された. さ ら に, mMLDA よ り form さ れ た many others を use し な concept, at the same time に semantic や grammar を get す る こ と で, 観 measuring し た シ ー ン を article performance で す る technique proposed を す る. は こ こ で Cha う problem, class な concept に お け る semantic の get で あ り, ど の class の ど の concept に ど の 単 language が knot び pay く か と い う く を solutions are necessary が あ る. The proposal approach is で, the 単 language is と, the concepts are <s:1>, and the mutual information volume is を and る. こ れ に よ っ て, ど の 単 language が originally ど の concept に knot び pay い て い る の か を automatic presumption に す る こ と が may で あ り, each language 単 に 応 seaborne す る, objects, places や people な ど と い っ た concept ク ラ ス の presumption が may で あ る. 従 っ て, taught 発 に お け る concept ク ラ ス の arise from paramagnetic を learning す る こ と で, concept ク ラ ス の migration of probabilistic と い う form で performance さ れ る を probabilistic grammar learning す る こ と が で き る. Youdaoplaceholder2 れによって, ロボットによる language <s:1> meaning understanding や generates を reality する とが とが とが possible となる. The content of the へ <s:1> is に related to て, domestic and び foreign で and に there is a に appearance, the journal of the paper へ submission する approval である.

项目成果

Integrated Concept of Human Motions and Objects based on Multi-layered Multimodal LDA

基于多层多模LDA的人体运动与物体集成概念

• DOI: 10.7210/jrsj.32.753
• 发表时间: 2014
• 期刊: Journal of the Robotics Society of Japan
• 作者: Hiroki Hashiguchi;Munehisa Takei;アッタミミ ムハンマド，ファドリルムハンマド，阿部香澄，中村友昭，船越孝太郎，長井隆行
• 通讯作者: アッタミミ ムハンマド，ファドリルムハンマド，阿部香澄，中村友昭，船越孝太郎，長井隆行

音声命令と行動予測に基づく文脈を考慮したロボットの行動決定

基于语音命令和行为预测的情境感知机器人行为决策

• 发表时间: 2013
• 作者: アッタミミ ムハンマド;長井隆行;岩橋直人;奥乃博
• 通讯作者: 奥乃博

Object Detection Using SURF and Superpixels

• DOI: 10.4236/jsea.2013.69061
• 发表时间: 2013-08
• 期刊: Journal of Software Engineering and Applications
• 作者: Miriam Lopez-de-la-Calleja;T. Nagai;M. Attamimi;M. Nakano-Miyatake;H. Perez-Meana

Robots That Can Play with Children: What Makes a Robot Be a Friend

可以和孩子一起玩的机器人：是什么让机器人成为朋友

• 发表时间: 2013
• 期刊: Neural Information Processing, Lecture Notes in Computer Science
• 作者: Muhammad Attamimi;Kasumi Abe;Akiko Iwasaki;Takayuki Nagai;Takayuki Shimotomai;Takashi Omori
• 通讯作者: Takashi Omori

マルチモーダルLDAを用いたロボットによる感情語彙の獲得

机器人使用多模态 LDA 获取情感词汇

• 发表时间: 2014
• 作者: Miriam Lopez-de-la-Calleja;Takayuki Nagai;Muhammad Attamimi;Mariko Nakano-Miyatake;Hector Perez-Meana;安東裕司，アッタミミ ムハンマド，中村友昭，長井隆行，持橋大地，小林一郎，麻生英樹;中村遼平;山口拓郎，アッタミミ ムハンマド，中村友昭，長井隆行，池原雅章
• 通讯作者: 山口拓郎，アッタミミ ムハンマド，中村友昭，長井隆行，池原雅章