|
|
GooglebotGooglebot（グーグルボット） Googlebotとは、Googleが使用するクローラーの名称です。 Googlebotには複数の種類がありますが、主要なHTTP_USER_AGENTは以下です。 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ○Googlebotのアクセス拒否またはアクセス間隔制御の方法
☆.htaccessによる方法
★全アクセスを拒否（クローラー名称を指定する方法） ┌──────────────────────── │SetEnvIf User-Agent "Googlebot" deny_ua │Order allow,deny │Allow from all │Deny from env=deny_ua └──────────────────────── ※ "Googlebot"は、Googlebotを識別可能なHTTP_USER_AGENT中の一部の文字列です。 ※ HTTP_USER_AGENTが変更された場合などは、必要に応じて変更が必要です。 ★全アクセスを拒否（IPアドレスを指定する方法） ┌──────────────────────── │Order allow,deny │Allow from all │Deny from IPアドレス1 │Deny from IPアドレス2 │ ： └──────────────────────── ※ IPアドレスは、クローラーのIPアドレスを、「12.345.6.789」のように指定します。 ※ 複数のIPアドレスを指定する場合、複数行を指定します。 ☆robots.txtによる方法
★全アクセスを拒否 ┌──────────────────────── │User-agent: Googlebot │Disallow: / └──────────────────────── ★最短アクセス間隔を指定 ※ Googlebotは、robots.txtファイルによるアクセス間隔指定に対応していません。 ※ ただし、Googleウェブマスターツールの「クロール率」で「少ない」を指定できます。（下方参照） ☆メタ・ロボットによる方法
★当該HTMLファイル（URL）のアクセスを拒否 ┌──────────────────────── │<META NAME="GOOGLEBOT" CONTENT="NOINDEX,NOFOLLOW"> └──────────────────────── ☆Googleウェブマスターツールによる方法
★アクセス間隔（クロール率）を指定
・サイト │ ├ 診断 │ ├ 概要 │ ├ クロール エラー │ │ ├ ウェブ クロール │ │ └ 携帯サイト │ └ 運用ツール │ ├ robots.txt 解析 │ ├ サイト確認の管理 │ ├ クロール率 ← ★ここ │ ├ 使用するドメイン │ └ イメージ検索の機能強化 *** ★Googlebotのrobots.txtとメタ・タロボットの説明 http://www.google.com/support/webmasters/bin/answer.py?answer=35303 ★Googlebotのアクセス制御用名称の説明 http://www.google.com/support/webmasters/bin/answer.py?answer=40364 ★Googlebotのrobots.txtファイル仕様の説明 http://www.google.com/support/webmasters/bin/answer.py?answer=40362 ★Googlebotのrobots.txtファイル仕様の説明（ワイルドカード文字） http://www.google.com/support/webmasters/bin/answer.py?answer=40367 ★Googlebotを説明するページの目次 http://www.google.com/support/webmasters/bin/topic.py?topic=8843 関連ページ（用語）： Googleウェブマスターツール クローラー Yahoo Slurp msnbot Baiduspider NaverBot .htaccess robots.txt メタ・ロボット |