权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

情報源符号化における言語モデルの解析と自然言語処理への応用に関する研究

信息源编码语言模型分析及其在自然语言处理中的应用研究

基本信息

批准号：
18700160
负责人：
石田崇
金额：
$ 1.22万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2006
资助国家：
日本
起止时间：
2006 至 2007
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18700160/
关键词：
言語理論情報理論符号化自然言語処理

项目摘要

2007年度は昨年度に引き続き,情報源符号化(データ圧縮)問題において,従来とは異なるアプローチにより提案された,言語構造を考慮した情報源モデルであるword-valued sourceを対象にして,ユニバーサル符号化の諸問題と自然言語処理問題への応用について検討を行った.ユニバーサル符号化問題において,理論的な圧縮限界という工学的な指標を与える意味でエントロピー・レートを導出することは非常に重要なテーマである.また,エントロピー・レートは情報源の確率構造の複雑性を表す指標でもあり,これは同時に自然言語処理における言語構造の指標にも成り得ることを意味している.一般的なword-valued sourceについてはエントロピー・レートが存在することが示されていないため,特殊な制約条件を課すことにより陽な形式でエントロピー・レートを導出できる情報源のクラスを検討してきた.より広いクラスに対してはエントロピー・レートの上界・下界を拡張し,数値実験によりその挙動を検証して定性的な評価を行った.また,エントロピー・レートが陽に導出できされたクラスに対してユニバーサル符号の圧縮性能の評価を行った.また,word-valued sourceを自然言語処理分野における,もっとも基本的で重要なプロセスである形態素解析に適用し,この言語モデルに対する単語分割問題を定式化した.数値実験によりその性能評価を行い,言語構造と単語分割の精度との関係を明らかにし,その成果をThe 7th IEEE International Conference on Computer and Information Technology (CIT2007)(2007年10月)で発表した.

In 2007, the problem of symbolization of information sources and the problem of natural speech processing were discussed. Symbolization of the problem, theoretical compression limit, engineering index, meaning, derivation, very important. The complexity index of the information source accuracy structure is the index of the simultaneous natural speech processing and speech structure. A general word-valued source exists, and a special constraint exists. The upper and lower bounds of the ENTRANT tablet are opened and the movements are verified in the digital value and qualitative comments are made. The evaluation of compression performance of the symbol is carried out. The word-valued source of natural speech processing is used to formalize the problem of language segmentation. The results of the 7th IEEE International Conference on Computer and Information Technology (CIT2007)(October 2007) were presented.