bsfilter でスパムをフィルタリング

最近、SPAM メールが多い。SPAM メールっていうのは、受取り手が希望しないのにやってくる広告メールのたぐいのこと。食べ物の SPAM とはあんまり関係ない。

食べ物の SPAM(ポーク缶)はとっても大好きだ。沖縄に行った時、5缶ぐらい買ってくる。ゴーヤチャンプルには欠かせない。

特に、私のように、メールアドレスを web で公開していたり、ML の管理スタッフをしていると、とっても多い。一日に100通ぐらいは届くだろうか。ざっと分類して読まずにゴミ箱直行していたのだが、ゴミ箱に捨てるのもメンドクサイのと、人手でやっているとどうしても、分類ミスが発生する。

そこで、最近はやりの、spam filter を導入することにした。一説によれば、急いで SPAM を手削除するよりも、フィルタソフトの方が高い正答率らしい。この説を見て導入を決意した。

ソフトウエアレビュー

けっこういろいろなソフトがある。ウェブページを見た感じやなんかをもとに、私なりの感想を記す。

• SpamAssasin
  この手のソフトが流行るきっかけ。ネーミングもステキ。解説ページを読めばわかるが、ルールベースフィルタのソフト。ルールは良く蓄積、更新されており、英語のSPAMには強いらしいが、日本語のSPAM(※未承諾広告)もなんとかして欲しいところ。最近のバージョンにはベイジアンフィルタも実装されているとのこと。procmail から呼び出して使うフィルタとして動作する。
• bogofilter
  ベイジアンフィルタによるスパムフィルタ。フィルタとして動作し、procmail と連係して使うことができる。日本語の SPAMをなんとかするには、nkf と kakasi をパイプして使う必要がある。
• POPFile
  Perl で動作するベイジアンフィルタだが、次の3つの特徴がある。
  • POP の Proxy サーバとして動作する。
  • Web Interface を持ち、操作が簡単
  • Windows 上で簡単動作パッケージもある。perl で動いているので、他のプラットフォームでも動作が可能。
日本語化も可能のようだ。
• bsfilter
  ruby で書かれたベイジアンフィルタ。作者が日本人のため、日本語にも対応ばっちり。日本語の単語分解処理はKAKASIなどをインストールしなくても内蔵のbigramで処理してくれる。
• メールソフト(MUA)内蔵のもの
  今使っているメールソフトを乗り換えたくないので、検討対象外だが、MUA に ベイジアンスパムフィルタを内蔵しているものもあり、紹介しておく。有名どころでは、Mozilla mailや、Max OS X 付属の Mail.appである。Mozilla は、レンダリングが正確でセキュリティホールの少いブラウザも付属しているのでおすすめである。

ベイジアンフィルタとは？

最近のはやりであるベイジアンフィルタについて、簡単な解説を次に示す。より詳しい解説は、次のリンク先を読んで欲しい。

• Bayesianってどういう考え方なんだろう
• スパムへの対策 ---A Plan for Spam: ベイジアンフィルタが流行るきっかけとなった論文の日本語訳。
• 不要なEメールを排除するための6通りの方法
• SPAMメモ

数学の確率論に、ベイズの定理というのがある。ベイズの条件付き確率というやつだ。AかつBがおこる確率とAかつnot(B)の確率から A の確率を求める。ベイジアンフィルタとは、この条件つき確率を利用したものだ。理論自体は、確率論の基礎で 18世紀からあるし、高校の数学で確率を勉強していた時代は、その中で教えられているはずである。

これをメールの分類に利用する時に、次のことを考える。

SPAM とわかっているメールに含まれていることが多い単語が多く、
かつ
SPAM ではないとわかっているメールに含まれている単語が少い
メールは、SPAM である確率が高い。

さらに、単語の連関確率を含めるともっと高い確率で、SPAMとそうでないかを分類できます。さらに、単語の出現頻度がどのような統計的分布に従うかを検定し、より峻別する方法もあります。

ここで問題になるのが、一つあります。「日本語では、単語ってどうやって区別するんだろう？」海外ソフトを日本語対応したものは、kakasi による分かち書きを利用するものが多いです。kakasi をインストールしたり、辞書を利用すること自体があんまり好きではないので、bigram(連接2文字)が使えて、それがデフォルトな bsfilter が好きになりました。

インストール

これらのソフトを検討した結果、bsfilter をインストールすることにした。日本語対応が万全なのと、procmail と組み合わせやすいのが良い。インストール自体は、配布元のページを見れば簡単に終る。

ベイジアンフィルタは学習が必要だ。学習用の SPAM サンプルをまず食わせるが、自分でも学習させて育てていかないと、けっこう最初の方は誤判定する。clean/spam ともに、100〜500通ぐらい食わせるとけっこう判定が正確になってくる。

学習させていると、SPAM が来るペースが遅いんちゃうか？って気になってくる。