大規模分散並列処理に基づく統計的機械翻訳

点击翻译按钮获取中文摘要

本年度は、(1)階層的な句に基づく翻訳手法の高度化(須藤,渡辺,塚田)、および(2)半教師あり学習に基づく言語情報解析法の研究(鈴木,藤野,磯崎)の二つの課題に取り組んだ。研究課題(1)として,本年度はNTTの研究費によって開発した高次元素性を活用した翻訳手法を,評価型ワークショップIWSLT2008のタスクで評価した.昨年度も高次元素性を活用するアプローチでIWSLT2007に参加したが,今年は文脈情報を含むより高度な素性の活用を検討した.昨年度は翻訳デコーダと密に結合した学習器によって,高次元素性を扱ったが今年より柔軟な素性の扱いを優先し,翻訳結果を再順序付けする学習器で高次元素性を扱うアプローチをとった.最終的に、中英チャレンジタスクにおいて,我々は他チームの1/10〜1/100の量の学習データ(対訳コーパス)で、11チーム中,3位相当の成績を達成することができた.研究課題(2)としては,昨年度考案した「半教師あり学習法」による固有表現抽出器などのスケーラビリティの確認をさらなる大規模学習データで確認した.昨年度は10億語を超える学習データを利用した実験を行い,その成果は今年度ACL-2008に採録されたが,今年度はデータをさらに増やして40億語近いデータでも実験を行った.その結果,性能がさらに向上することを確認した.この他,NTTの研究費で考案した半教師あり学習に基づく文書分類法を、公開データ(報道記事,NTCIRタスク)で評価し,有効性を確認した.