Ozakism

ベイズの定理と検索技術

以前はSEO事業を立ち上げたりしてたので検索エンジンとの関わりが強かったものの、
最近ではもっぱら部外者。検索業界は動きが早いので外から見てると本当に面白い。
たまに渡辺君のBLOGをフムフムと頷きながら見て、逆に「何で学生に戻ったの？」とコメントしたくなる。

ま、そんなことはさておき、ベイズの定理である。
学生の時、経済学部だったお陰で統計学が必須科目（って先の卒業論文＝釣り糸との整合性なし？）
になってて、一応は基本的な内容は教わった、いや、講義に出てないから、正確にはテストに出てた。
で、ベイジアンなんて言葉を暑苦しい階段教室で耳にした事があるように記憶しているものの、当時は何とも思わなかったのです。
ところが、ここにきて何やらスゴイことに気付きました。
Googleに代表される検索エンジン、時期Windows（Longhorn）のWinFS（Stuff I've Seen）、はてまた数年前に熱中した協調フィルタリング（Amazonなどで実装されているレコメンデーション）技術、などベイズの定理を元にしたIT技術が今まさに旬なのです。

で、何がスゴイかって、帰納法を用いて演繹するところです。
言い換えると、過去に起きた現象（とその確率）を用いて、今後起きる不確実な現象を推論する。
ケースが増える分だけ推論の精度が高まっていく。
つまり、データ収集に余念が無い多くの企業の行動を正当化することが出来るのです。

そういえば、最近Amazonの元技術者がMicrosoftに移りMSN Newsbotを作っているそうです。
これ、まさにNewsを個人向けにパーソナライズしてくれます。
しかし、気になることが一つだけあります。
数年前、協調フィルタリング技術を用いたWebサイトがいくつかありました。
アスクル、ツタヤOnLine、ナチュラム、裏でこっそりデータ採取していたSony Styleもその一つでしょう。
しかし、どこも集めたデータを上手く利用できないばかりか、レコメンデーションそのものを使わなくなりました。
理由は「ROI＝コスト」にもありますが、実際は「規模」にあったように思います。
これら技術は集合の規模が大きくなるほど精度が高くなりますが、そもそもレコメンデーション技術は大規模集合よりも、小規模集合の多大な集まりである時に最も効果を発揮します。
ここに矛盾が生じているのです。
規模大＝レコメンデーション効果大＝レコメンデーション必要性低
規模小＝レコメンデーション効果？＝レコメンデーション必要性高

つまり、IT技術が進歩（ソフトとハード双方）するにつれ、データ量が増加しベイズの定理が活躍しそうに思えた。
しかし、大規模で精度が高まるベイズ理論は小規模集合にこそ求められた。そして、これまでは十分な結果を残せなかった。
果たして、WinFSやMSN Newsbotの試みは上手くいくのであろうか？

個人的には大いに興味もあるし、是非成功して欲しい。
非科学事象の科学化（造語）こそ科学の醍醐味だから。
その点からすると、社会科学にぞくする経済学は科学と呼ぶには忍びない気がするのは私だけだろうか？