メタ・ロボット

メタ・ロボット（meta robots、meta robot）

メタ・ロボットとは、HTMLのHEADセクション内に下記タグで指定する、そのページに対する検索エンジンのロボット（クローラー）の振る舞いを指定する情報です。ロボットは、メタ・ロボットがなければ巡回しますので、巡回を希望する場合、特に指定する必要はありません。

<META NAME="ロボットの名前" CONTENT="ロボットの制御">

「ロボットの名前」で、機能させるロボットを指定します。複数ある場合は ,（コンマ）で区切って指定します。

　・ROBOTS　…　全ロボット
　・Slurp　…　Yahooのロボット
　・googlebot　…　Googleのロボット
　・msnbot　…　MSN、Windows Live Searchのロボット
　・TEOMA　…　Askのロボット
　・BecomeBot　…　Becomeのロボット
　・baiduspider　…　百度のロボット
　・YodaoBot　…　有道のロボット
　・NaverBot　…　NAVERのロボット

「ロボットの制御」で、ロボットの振る舞いを指定します。複数ある場合は ,（コンマ）で区切って指定します。

　・ALL　…　"INDEX,FOLLOW"と同じ。（何も指定しない場合も同じ）
　・NONE　…　"NOINDEX,NOFOLLOW"と同じ。

　・INDEX　…　検索エンジンに登録する。（何も指定しない場合も同じ）
　・NOINDEX　…　検索エンジンに登録しない。

　・FOLLOW　…　リンクを辿る。（何も指定しない場合も同じ）
　・NOFOLLOW　…　リンクを辿らない。

　・NOARCHIVE　…　キャッシュを保存しない。

　・NOODP　…　DMOZの説明文を要約文として表示しない。（Yahoo、Google、MSNに有効）

　・NOYDIR　…　Yahooカテゴリーの説明文を要約文として表示しない。（Yahooのみ有効）

　・NOSNIPPET　…　要約文を表示しない。また、キャッシュを保存しない。（Googleのみ有効）

　・UNAVAILABLE_AFTER: 31-Jul-2007 10:00:00 JST
　　　　　…　指定した期日以降、指定ページを検索結果に表示しない。（Googleのみ有効）
　　　　　※ "31-Jul-2007 10:00:00 JST" 部分は、希望の日時を指定します。
　　　　　※ 詳細は「unavailable_after」を参照してください。

***

メタ・ロボットの指定は、すべてのクローラーが守ってくれるわけではありません。対応の有無は、各クローラーの解説サイトの確認が必要です。

大手検索エンジンのクローラーはだいたい問題ないですが、行儀の悪いクローラーもいますので、巡回されたくないページは、他ページからリンクを張らない、そのページに記載されている外部リンクをクリックしない（リンク先で記録され自動でバックリンクを張られることがしばしばあるため）という注意も必要です。

なお、間違いなく巡回を拒否したい場合は、.htaccess、Basic認証、CGIによる認証、などによる対応が必要です。

関連ページ（施策）：
　　インデックス対策
　　クローラーの巡回を拒否する指定
　　クローラーの巡回を希望する指定

関連ページ（用語）：
　　メタ・タグ
　　.htaccess
　　robots.txt
　　Yahoo Slurp
　　Googlebot