中国発の検索エンジンサービスである百度の日本語版が3月下旬にサービスを開始しました． 百度がWebページを収集するのに使っているのはBaiduspiderというクローラです．Webサイトの管理をしている方はご存知だと思いますが，このbaiduspiderはクロールの頻度が頻繁でWebサーバに負荷をかけまくります．そのうえ，百度の検索エンジンからユーザが訪れることはほとんどありませんでした． つまり，Webサイトを運営する側からすると，baiduspiderの訪問は迷惑な存在だったのです．あちこちのページやブログで，baiduspiderのアクセスを遮断・ブロックする方法等が見つかるはずです．弊社で運営するサイトの幾つかもbaiduspiderからのアクセスを遮断しています． こんな困ったちゃんの百度ですが，日本語版のサービスを開始するにあたりこんなページが用意されています．日本語サイトのWebページ収集spider（クローラ）問題についてプレスリリース 百度の日本法人社長による謝罪と今後の対応について述べています．日本でサービスを開始するに当たり，日本のサイト運営者の一部から快く思われていない現状を認識して，改めてくれるようです． 現在私が管理するサイトでは遮断したままですが，しばらく様子を見守りたいと思います．