« 2007-04-04の防備な備忘 | メイン | 2007-04-05の防備な備忘 » |
2007年4月 4日
クローラーのDNS
昨日、サーバ移転したサイトがあるのですが、さっき旧サーバのログを見てみたら面白かった。なんか、旧サーバにはクローラーしか来ていないのね。TTLが微妙な長さだったけど、既にそれも切れてるはずなので通常運用のDNSでは旧サーバを返さないはずなんだよねー。クローラーが使ってるDNS、もしくはクローラーが独自に名前解決してるのかもしれないんだけど、そのあたりの問題なのでしょうな。
もう、落としちゃっていいのですが、このあともいつまでクローラーが来るのか興味があるので、しばらく立てておこう。
pc218.maninvestmentproducts.com - - [04/Apr/2007:09:48:23 +0900] "GET /XXXX/XXXX.css HTTP/1.1" 304 - "-" "Mozilla/4.0 (compatible;)"
xd-22-132-a8.bta.net.cn - - [04/Apr/2007:10:06:57 +0900] "GET / HTTP/1.1" 200 7770 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1"
egspd42008.ask.com - - [04/Apr/2007:11:02:28 +0900] "GET /ew/bg.html HTTP/1.0" 200 60 "-" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)"
egspd42008.ask.com - - [04/Apr/2007:11:20:04 +0900] "GET /XXXX/028/index.html HTTP/1.0" 404 213 "-" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)"
egspd42008.ask.com - - [04/Apr/2007:11:34:01 +0900] "GET /robots.txt HTTP/1.0" 404 204 "-" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)"
egspd42008.ask.com - - [04/Apr/2007:11:34:16 +0900] "GET /XXXX/bn_05.html HTTP/1.0" 200 8298 "-" "Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)"
crawler4.irl.cs.tamu.edu - - [04/Apr/2007:11:39:15 +0900] "GET /XXXX/055/ HTTP/1.1" 200 17347 "-" "IRLbot/3.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)"
crawler4.irl.cs.tamu.edu - - [04/Apr/2007:11:39:55 +0900] "GET /XXXX/090/index.php HTTP/1.1" 200 18598 "-" "IRLbot/3.0 (compatible; MSIE 6.0; http://irl.cs.tamu.edu/crawler)"
投稿者 ymkx : 2007年4月 4日 11:53
