Yahoo Slurp

Yahoo Slurp（ヤフー・スラープ）

Yahoo Slurpとは、Yahooのロボット型検索エンジンYSTが使用するクローラーの名称です。

Yahoo Slurpには複数の種類がありますが、主要なHTTP_USER_AGENTは以下です。

　　Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
　　Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

「Slurp」はYahooが買収したInktomi社が提供していた検索エンジンのクローラーの名称であり、それがYSTのクローラーの名称の一部として組み入れられているものです。

　

• サイトのトップディレクトリに保管する.htaccessファイルをウェブサーバーが読み取ってアクセス制御する方法です。

• ウェブサーバーの種類や設定状況によっては、使用できないことがあります。

• サイトのトップディレクトリに.htaccessファイルを保管できる権限が必要です。

• この方法が使用可能な場合、アクセス制御として一番確実な方法です。

★全アクセスを拒否（クローラー名称を指定する方法）
┌────────────────────────
│SetEnvIf User-Agent "Slurp" deny_ua
│Order allow,deny
│Allow from all
│Deny from env=deny_ua
└────────────────────────
※ "Slurp"は、Yahoo Slurpを識別可能なHTTP_USER_AGENT中の一部の文字列です。
※ HTTP_USER_AGENTが変更された場合などは、必要に応じて変更が必要です。

★全アクセスを拒否（IPアドレスを指定する方法）
┌────────────────────────
│Order allow,deny
│Allow from all
│Deny from IPアドレス1
│Deny from IPアドレス2
│　：
└────────────────────────
※ IPアドレスは、クローラーのIPアドレスを、「12.345.6.789」のように指定します。
※ 複数のIPアドレスを指定する場合、複数行を指定します。

• サイトのトップディレクトリに保管するrobots.txtファイルをクローラーが読み取ってアクセス制御する方法です。

• クローラーによっては、対応されません。

• Yahoo Slurpの場合、対応していることが、下方のURLに明記されています。

• サイトのトップディレクトリにrobots.txtファイルを保管できる権限が必要です。

★全アクセスを拒否
┌────────────────────────
│User-agent: Slurp
│Disallow: /
└────────────────────────

★最短アクセス間隔を指定
┌────────────────────────
│User-agent: Slurp
│Crawl-delay: 1
└────────────────────────
※ 指定の単位は「分」（秒ではないことに注意）

• HEADセクション内にメタ・ロボットが記述されたHTMLファイル（URL）をクローラーが読み取ってアクセス制御する方法です。

• HTMLのHEADセクション内に以下の行を追加できることが必要です。

• アクセス制御の対象とする全HTMLファイルに追加が必要です。

• クローラーによっては、対応されません。

• Yahoo Slurpの場合、対応していることが、下方のURLに明記されています。

★当該HTMLファイル（URL）のアクセスを拒否
┌────────────────────────
│<META NAME="Slurp" CONTENT="NOINDEX,NOFOLLOW">
└────────────────────────

***

★Yahoo Slurpのrobots.txtの説明
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12.html#robot

★Yahoo Slurpのrobots.txtのCrawl-delayの説明
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-22.html

★Yahoo Slurpのメタ・タロボットの説明
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12.html#meta

関連ページ（用語）：
　　Yahoo
　　クローラー
　　Googlebot
　　msnbot
　　Baiduspider
　　NaverBot
　　.htaccess
　　robots.txt
　　メタ・ロボット