权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ゼロショットキャプション生成法の開発

零镜头字幕生成方法的开发

基本信息

批准号：
21K17811
负责人：
重藤優太郎
金额：
$ 1.58万
依托单位：
Chiba Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題は, 機械翻訳を介さず目的言語のキャプションを生成する方法 (ゼロショットキャプション生成法) の開発に取り組む. ゼロショットテキスト生成の関連研究が発表されたことを受け, 本年度は開発していたモデルの見直しおよび実装を行なった. また, 新たに評価用データが公開されたため, 現在それらを用いて検証を行なっている. 開発したゼロショットキャプション生成法は, 近年活発に研究されている画像と言語を用いた事前学習モデル (vision and language pre-training models) と (多言語のテキストデータで学習された) 大規模言語モデル (large language models) を活用することで実現している.現在, モデルの実装は完了しており, 検証を行なっている段階である. 当初の想定よりも時間を要していることから, 検証が完了しておらず, 現状の実験においては, 開発したゼロショットキャプション生成法は十分な性能を得られていない. まだ分析段階ではあるが, これは大規模言語モデルが当初期待していた通りの振る舞いをしていないことが原因だと思われる. これを踏まえて, 来年度は, 大規模言語モデルの振る舞いを考慮し, (教師情報ではない) 補助情報を有効活用することでゼロショットキャプション生成を実現する. 応用タスクの選定は完了しているため, ベンチマークデータにおいて, 開発した方法の有効性が確認でき次第, 応用タスクでの検証に取り組む. 他の言語生成タスクと同様に, キャプション生成においても, ハルシネーション (hallucination) が問題となっていることが報告されている. この観点からも分析を行いたい.

This research topic is to develop a method for generating target speech by mechanical translation. The research on the relationship between the development and the implementation of the project was carried out during the year. The new evaluation system is open to the public, and now it is open to the public. In recent years, research has been actively carried out on the development of image and speech pre-training models and the use of large-scale language models. Now, it's over, and it's over. When the initial idea is determined, the time is required, the test is completed, the status quo is implemented, and the development method is very effective. The analysis of the level of the stage is not the same as that of the large-scale speech, but it is the same as that of the original expectation. In the coming year, large scale speech is considered, and (teacher information) subsidy information is used. In order to confirm the effectiveness of the development method, the selection of the test method is completed, and the test method is selected. His speech is generated in the same way as the speech, and the speech is generated in the same way. This is the first time I've seen it.