検索エンジン、SEO、SEM、などの技術、動向の研究、紹介をしているサイトです。

サイトマップ当サイトについて利用上の注意個人情報の扱い更新記録お問い合わせ
特に有用または興味を引くSEO系情報提供ブログの更新情報 - 一覧ページを表示
1  はてなブックマークのタグ「SEO」の注目記事  ⇒  11月18日(本日)
2  住 太陽のSEOブックマークの注目記事  ⇒  11月18日(本日)
 
SEO記事リミックス   説明   注目()   新着(38件)   有用新着(13件)   昨日人気(26件)   外部人気()   長期人気()  
 

 (目次を全て表示)
   

韓国「NAVER」のクローラー「NaverBot」がHTTP_USER_AGENT名を「Yeti」に変更

2007年4月5日 02時24分


韓国のポータルサイト「NAVER」のクローラーNaverBot」が、先日、HTTP_USER_AGENT名を「YetiYetiBot)」に変更しました。

★旧: Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)
★新: Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)

NaverBotは、しばしばHTTP_USER_AGENT名を変えることで有名なクローラーですが、以下のように、従来の名前だった3月26日の巡回を最後にして、3月29日から新しいHTTP_USER_AGENT名で巡回してくるようになりました。ちなみに、IPアドレスも変わりました。そして、いきなり、昨日、たくさんの巡回をしていきました。

  日付 巡回数 HTTP_USER_AGENT
  3/26 20 Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)
  3/27 0
  3/28 0
  3/29 11 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)
  3/30 40 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)
  3/31 27 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)
  4/01 13 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)
  4/02 7  Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)
  4/03 0
  4/04 960 Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follows it)

★3月26日の「NaverBot」のログ
http://www.seiren-udoku.com/analyzeCrawler?super=list-200703-26&agent=NaverBot

★4月4日の「Yeti」のログ
http://www.seiren-udoku.com/analyzeCrawler?super=list-200704-04&agent=Yeti

しばしばHTTP_USER_AGENT名を変える理由は、クローラーとしての素行の悪さから多くのサイトがアクセス拒否を設定したためと推測されていますが(拒否設定は通常はHTTP_USER_AGENT名が使用される)、このようにまるっきり違うHTTP_USER_AGENT名に変わる姿を垣間見ると、あまり気持ちのよいものではないですね。

★「NAVER」のクローラー「NaverBot」について − Wikipedia
http://ja.wikipedia.org/wiki/NaverBot

★韓国のポータルサイト「NAVER」について − Wikipedia
http://ja.wikipedia.org/wiki/NAVER

★韓国のポータルサイト「NAVER」
http://www.naver.com/

晴練雨読 管理人




この記事のトラックバックURL

トラックバックはサイト管理者によって承認されるまで表示されません。

トラックバック
この記事にコメントする

お名前(必須)

メールアドレス(表示されません)

URL

コメント(必須)



コメントはサイト管理者によって承認されるまで表示されません。


   
 RSSリーダーに追加(購読者数)
 カテゴリー (記事数)
 アクセス ランキング
    (期間:11月11日 - 11月17日)
 最近のコメント
 最近のトラックバック
あわせて読みたい

 

↑ このページの先頭に戻る    
  • 当サイトはamazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できるアフィリエイト宣伝プログラムであるAmazonアソシエイト・プログラムの参加者です。
  • 当サイトはGoogleが提供している広告を表示することで紹介料を獲得できるアフィリエイト宣伝プログラムであるGoogleアフィリエイト・サービス(Google Adsense)の参加者です。

  • サイトマップ当サイトについて利用上の注意個人情報の扱い更新記録お問い合わせ | 2017/11/18 13:20:07
    - Copyright (c) 2006-2017 晴練雨読 -