IT Rescue IT関連Tips情報

Twiceler というロボット(クローラー) stanford製(?)

2007年6月2日サーバ管理

Twiceler という新たなロボットがやって来た.
6/2に起きてメールを読むと,fail2banからの遮断報告メールがどっさり.アクセスログを調べると,Twiceler という新たなロボット(クローラー)が原因のようです.User-Agent文字列は以下の通り.

Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)

User-Agent内に書かれたURLにアクセスしても以下のように書かれているだけ(適宜改行を入れました).

Twiceler is an experimental robot.
Please contact costello@cs.stanford.edu 
if you have any problems.

Twiceler should obey robots.txt.

emailアドレスから調べると,確かにスタンフォード大学にその人は在籍しているようである.

ただ,実験の目的も良く解らないし実験に協力する義理も無い.さらに迷惑も被っているので遮断することにした.

とりあえず,robots.txtに以下のように書いてみた.

User-agent: Twiceler
Disallow: /

それとUser-agentでTwicelerを名乗るものは弾きました.

SetEnvIf User-Agent Twiceler badrobot

上記設定を加え,apacheをreloadしました.DoS攻撃/DoSアタック対策 : User-agent によるアクセス制御/アクセス拒否参照.

2007/6/4追記:
良く考えたらUAで遮断しているので,当該クローラはrobots.txtにもアクセスできない.


1件のコメント

  1. あい より:

    こんにちは。Twiceler というロボット、を読ませていただきました。勉強になりました。また読ませていただきたいと思います。検索エンジンのロボットやクローラーを勉強していますが難しいです。それとやっぱりヤフーとかグーグルが一番なんでしょうか。うーん。ライブサーチなんか好きなんですけど。

コメントをどうぞ

免責事項

著作権者の文書による承諾を得ずに、本サイトの内容の一部、全部を無断で複写、複製、転載することは、禁じられています。
また、当ウェブサイト に記載された情報の完全性・正確性に対して一切の保証を与えるものではありません。当ウェブサイトに含まれる情報もしくは内容を利用することで直接・間接的に生じた損失に関し一切責任を負わないものとします。