サイトを完成させ、適切なSEO対策を施し…後は、googlebotやYahoo!Slurp、msnbotなど主要サイトのクローラーが待ち遠しい…サイト運営を行ったことがある人ならば、皆さん経験がありますよね。 クローラーが呼べるなら、なんでもやろうと思っている時に、気になってくるのが「robots.txt」です。なんと言っても、検索エンジンに対してこちらからなんらかの能動的なメッセージが発信できるのは、この「robots.txt」ぐらいしかありませんもんね。 という訳で「robots.txt」のSEO的効果についての検証結果を… 本来、「robots.txt」は、クローラーの巡回を制限するためのものですが、クローラーの巡回、検索サイトへのインデックスに飢えている状況では、「robots.txt」をうまく使って、すばやく、かつ、漏れなくページを巡回し、インデックスしてほしいと願ってしまいます… 2年がかりで、「robots.txt」をつけたりはずしたり、内容を変えてみたりといろいろやってみましたが、わかったのは、「「robots.txt」がgooglebotやYahoo!Slurp、msnbotなど主要サイトのクローラーを積極的に呼び込んだり、ページのインデックスを早まるというような効果はない」ということでした。 私の結論としては、「robots.txt」は本来の意味（クローラーの巡回を制限したい場合）で使えということです。私的には、検索エンジンにより多くのページをインデックスしてもらいたいと願うならば、「robots.txt」は置かないほうがよいと思います。 無理に置く理由を考えれば…Yahoo!Slurpなど、まめに「robots.txt」にアクセスしてくるクローラーに対して、404などで返すのが気持ち悪い…ってくらいですかねぇ。 あとは、海外の検索サイトや大学などの研究機関がテストか研究（？）で巡回させている（メリットのない）無意味なクローラーに回線やサーバのリソースを使わせるのがもったいないから、一様、設定しておくというのもありかなぁというくらいです。（心が狭い気もしますが） もっとも「robots.txt」に書かれた内容を守ってくれるクローラーがどれだけあるかなぁ～素も子もない話ですが…