リアルタイム三次元画像センサを用いた人物立体像伝送による遠隔会議

利用实时3D图像传感器进行3D人像传输的远程会议

• 批准号: 08234219
• 负责人: 佐藤 宏介
• 金额: $ 1.28万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08234219/
• 关键词: モーションキャプチャ; アバタ-; 手話; 手袋型センサ; ジェスチャ; 仮想会議; 超低ビットレート通信; マルチメディア通信

より柔軟な遠隔共同作業の実現するため、人物像のカラー画像情報に加えて立体形状をもリアルタイム計測し、ネットワークを介して高リアリティな立体人物像を呈示することを目的とする。受信側の視点の変動や作業対象の移動・回転に対して、送信側へサーボ駆動指令を送ることなく、受信側の処理のみにより仮想表示する。これにより、カメラのサーボ移動などのメカ機構による応答遅れない遠隔共同作業の実現する。同時に人物像の立体形状の計測に適したレーザ投光式のよるリアルタイム三次元画像センサを適用する。実世界の実時間計測、移動型VRシステム、アプリケーション指向モデルを組み合わせた、新しい人工現実感技術と通信技術の融合を研究するため、立体人物像(アバタ-)介在型遠隔会議システムの構成を提案した。そのために、1)立体表情伝送、2)低ビットレート実装の2つの大きな技術開発を行い、A)リアルタイム顔形状計測、B)リアルタイム顔画像計測の各技術を研究し、ア)リアルタイム三次元センサによる顔形状の計測による立体表情伝達と、イ)H.261による顔画像を圧縮し低ビットレート実装を試みた。現在利用している距離画像センサは、24×24画素と解像度が低く、データ量は多くない。フレームレート30Hzとした場合、顔の形状データは7K bpsとなる。顔のカラー画像についたは、顔を大きくクローズアップして撮影するので、画像内の動きが口や目の回りに限定され、比較的圧縮しやすい。QCIF解像度で64K bpsのデータ量で、十分表情を伝達することができた。音声データに32K、その他制御データに18K割り当てたとしても、合計128K bpsで、INS-64回線の最大データ幅に納めることが出きることが確認できた。

For the purpose of rendering a three-dimensional image, the information of the image of the person is added to the image of the person. The viewpoint of the receiving side is changed, and the movement and return of the operation object are changed. The transmission side is changed, and the processing of the receiving side is changed. This is the first time that the United States has been involved in a joint operation. At the same time, the measurement of three-dimensional shape of human image is suitable for three-dimensional image A proposal for the construction of a mobile remote conference system, such as a time measurement system, a mobile remote conference system, and a research on the integration of new artificial sensing technologies and communication technologies. 1) Three-dimensional expression transmission, 2) Low-resolution image implementation, 2) Large-resolution technology development, A) Color shape measurement, B) Color image measurement technology research, A) Color three-dimensional image measurement, 3) Three-dimensional expression transmission, 2)H.261 color image implementation. Now use the distance image, 24×24 pixel resolution is low, the amount of data is high The frequency of 30Hz and the frequency of 7K bps are different. The color of the image is not limited to the color of the image. The color of the image is not limited to the color of the image. The color of the image is not limited to the color of the image. QCIF resolution is 64K bps and the data volume is very high. Sound data is 32K, other control data is 18K, total is 128K bps, INS-64 loop maximum amplitude is 18K, total is 18 K, INS-64 loop maximum amplitude is 18 K, INS-64 loop

项目成果

Tomohiro Kuroda: "Reconstruction of Signer′s Actions in a VR Telecommunication System for Sign Language" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 429-432 (1996)

Tomohiro Kuroda：“重建手语 VR 电信系统中的手语者行为”，岐阜国际虚拟系统和多媒体会议 96 429-432 (1996)。

Tomohiro Kuroda: "STEL:VR-based sign language telecommunication system" 7th International Conference on Human-Computer Interaction. (発表予定). (1997)

Tomohiro Kuroda：“STEL：基于 VR 的手语电信系统”第七届国际人机交互会议（即将发表）。

Yoshiyuki Kirishima: "A Novel Approach on Gesture Recognition-The Gesture Protocol-Based Gesture Interface" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 433-438 (1996)

Yoshiyuki Kirishima：“手势识别的新方法 - 基于手势协议的手势接口”，岐阜国际虚拟系统和多媒体会议 96（1996 年）。

Tomohiro Kuroda: "S-TEL:A Telecommunication System for Sign Language" Proc.of First Asia Pacific Conference on Human Computer Interaction. 83-91 (1996)

Tomohiro Kuroda：“S-TEL：手语电信系统”第一届亚太人机交互会议论文集。

Yoshihiro Ban: "AR Backpacker for Manufacturing and Inspection" Proc.of International Conference on Virtual Systems and Multimedia ′96 in Gifu. 55-58 (1996)

Yoshihiro Ban：“AR Backpacker for Manufacturing and Inspection”Proc.of International Conference on Virtual Systems and Multimedia 96 in Gifu 55-58 (1996)。