|
|
韓国「NAVER」のクローラー「NaverBot」がHTTP_USER_AGENT名を「Yeti」に変更
2007年4月5日 02時24分
韓国のポータルサイト「NAVER」のクローラー「NaverBot」が、先日、HTTP_USER_AGENT名を「Yeti（YetiBot）」に変更しました。 ★旧： Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp) ★新： Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) NaverBotは、しばしばHTTP_USER_AGENT名を変えることで有名なクローラーですが、以下のように、従来の名前だった3月26日の巡回を最後にして、3月29日から新しいHTTP_USER_AGENT名で巡回してくるようになりました。ちなみに、IPアドレスも変わりました。そして、いきなり、昨日、たくさんの巡回をしていきました。 日付 巡回数 HTTP_USER_AGENT 3/26 20 Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp) 3/27 0 3/28 0 3/29 11 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) 3/30 40 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) 3/31 27 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) 4/01 13 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) 4/02 7 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) 4/03 0 4/04 960 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it) ★3月26日の「NaverBot」のログ http://www.seiren-udoku.com/analyzeCrawler?super=list-200703-26&agent=NaverBot ★4月4日の「Yeti」のログ http://www.seiren-udoku.com/analyzeCrawler?super=list-200704-04&agent=Yeti しばしばHTTP_USER_AGENT名を変える理由は、クローラーとしての素行の悪さから多くのサイトがアクセス拒否を設定したためと推測されていますが（拒否設定は通常はHTTP_USER_AGENT名が使用される）、このようにまるっきり違うHTTP_USER_AGENT名に変わる姿を垣間見ると、あまり気持ちのよいものではないですね。 ★「NAVER」のクローラー「NaverBot」について − Wikipedia http://ja.wikipedia.org/wiki/NaverBot ★韓国のポータルサイト「NAVER」について − Wikipedia http://ja.wikipedia.org/wiki/NAVER ★韓国のポータルサイト「NAVER」 http://www.naver.com/ |
|