NaverBot

NaverBot（ネイバー・ボット）、YetiBot（イエティ・ボット）

NaverBotとは、韓国のポータルサイト「NAVER」が使用するクローラーの名称です。

NaverBotには複数の種類がありますが、主要なHTTP_USER_AGENTは以下です。

　　Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

NaverBotは、十分な間隔をおかずに連続アクセスするため、日本の多数のサイトが出入り禁止（アクセス拒否）にしているクローラーです。

また、アクセス拒否の回避のため、しばしばHTTP_USER_AGENTやIPアドレスを変える、悪名高いクローラーです。

★Wikipediaによる「NaverBotの行儀の悪さ」の解説
http://ja.wikipedia.org/wiki/NaverBot

★Googleにて「NaverBot (拒否|禁止)」を検索　⇒　246件（2007/04/30時点）
http://www.google.com/search?hl=ja&q=NaverBot+%28%E6%8B%92%E5%90%A6%7C%E7%A6%81%E6%AD%A2%29

★NAVER（韓国語）
http://help.naver.com/

　

• サイトのトップディレクトリに保管する.htaccessファイルをウェブサーバーが読み取ってアクセス制御する方法です。

• ウェブサーバーの種類や設定状況によっては、使用できないことがあります。

• サイトのトップディレクトリに.htaccessファイルを保管できる権限が必要です。

• この方法が使用可能な場合、アクセス制御として一番確実な方法です。

★全アクセスを拒否（クローラー名称を指定する方法）
┌────────────────────────
│SetEnvIf User-Agent "naver.com" deny_ua
│Order allow,deny
│Allow from all
│Deny from env=deny_ua
└────────────────────────
※ "naver.com"は、NaverBotを識別可能なHTTP_USER_AGENT中の一部の文字列です。
※ HTTP_USER_AGENTが変更された場合などは、必要に応じて変更が必要です。

★全アクセスを拒否（IPアドレスを指定する方法）
┌────────────────────────
│Order allow,deny
│Allow from all
│Deny from IPアドレス1
│Deny from IPアドレス2
│　：
└────────────────────────
※ IPアドレスは、クローラーのIPアドレスを、「12.345.6.789」のように指定します。
※ 複数のIPアドレスを指定する場合、複数行を指定します。

• サイトのトップディレクトリに保管するrobots.txtファイルをクローラーが読み取ってアクセス制御する方法です。

• クローラーによっては、対応されません。

• NaverBotの場合、対応していることが、下方のURLに明記されています。

• サイトのトップディレクトリにrobots.txtファイルを保管できる権限が必要です。

★全アクセスを拒否
┌────────────────────────
│User-agent: NaverBot
│Disallow: /
└────────────────────────

★最短アクセス間隔を指定

• NaverBotの場合、対応している旨の説明はありません。

• NaverBotの場合、対応している旨の説明はありません。

***

★NaverBotのrobots.txtの説明
http://help.naver.com/delete_main.asp?page_id=2

関連ページ（用語）：
　　NAVER
　　クローラー
　　Yahoo Slurp
　　Googlebot
　　msnbot
　　Baiduspider
　　.htaccess
　　robots.txt
　　メタ・ロボット