正当な電子メールの特徴を利用した言語の種類に依存しない迷惑メールフィルターの開発

正当な電子メールの特徴に着目し、言語の種類に依存しない迷惑メールフィルターシステムを構築した。また、処理速度および分類精度の向上を図るため、電子メール受信モジュール、言語解析モジュール、機械学習モジュール、電子メール分類モジュールなどに分割したシステム設計を行った。特に、機械学習モジュールは別サーバ上での実行を想定して、データの自動入出力インターフェイスを実装した。これにより、比較的処理時間の長くかかる機械学習処理をクラスターPCなどの別サーバ上で処理することが可能となり、分類精度を低下させることなく処理時間の短縮が実現できた。また、分類精度のさらなる改善を目的に、学習に利用する電子メール情報(本文情報、メールヘッダ情報)の組み合わせを検討すると同時に、本プロジェクトで開発したものとは別のメールフィルタリングソフト(ベイジアンフィルタ)を併用して分類処理することで、より分類精度を高くできることを明らかにした。二つのフィルターシステムは、異なる指標でメール分類規則を導き出すため、今回の結果は、正規メールの回収率は高いが迷惑メールを多く混入してしまうベイジアンフィルタの短所を、本プロジェクトで開発したメールフィルターシステムが補完して、迷惑メールの混入を防ぐことが出来たことによる精度の向上と考えられた。さらに、分類判定のパラメーターを最適化することで、これまで約97%の分類正解率を、およそ99%に引き上げることができた。

正当な電子メールの特徴に着目し、言語の種類に依存しない迷惑メールフィルターシステムを構築した。また、処理速度および分類精度の向上を図るため、電子メール受信モジュール、言語解析モジュール、機械学習モジュール、電子メール分類モジュールなどに分割したシステム設計を行った。特に、機械学習モジュールは別サーバ上での実行を想定して、データの自動入出力インターフェイスを実装した。これにより、比較的処理時間の長くかかる機械学習処理をクラスターPCなどの別サーバ上で処理することが可能となり、分類精度を低下させることなく処理時間の短縮が実現できた。また、分類精度のさらなる改善を目的に、学習に利用する電子メール情報(本文情報、メールヘッダ情報)の組み合わせを検討すると同時に、本プロジェクトで開発したものとは別のメールフィルタリングソフト(ベイジアンフィルタ)を併用して分類処理することで、より分類精度を高くできることを明らかにした。二つのフィルターシステムは、異なる指標でメール分類規則を導き出すため、今回の結果は、正規メールの回収率は高いが迷惑メールを多く混入してしまうベイジアンフィルタの短所を、本プロジェクトで開発したメールフィルターシステムが補完して、迷惑メールの混入を防ぐことが出来たことによる精度の向上と考えられた。さらに、分類判定のパラメーターを最適化することで、これまで約97%の分類正解率を、およそ99%に引き上げることができた。