|
|
X-Robots-TagX-Robots-Tag(エックス・ロボット・タグ、エックス・ロボッツ・タグ) ※ 本機能はGoogleとYahooで有効な機能です。(Googleは2007年7月にサポートを発表、Yahooは2007年12月にサポートを発表) メタ・ロボットはHTMLファイルにだけ指定可能なため、PDFや音声、動画などのファイルではメタ・ロボットと同様なクローラー制御を行うことはできません。しかし、Googleにおいては、“X-Robots-Tag”HTTPヘッダー項目により、PDFや音声、動画などでもメタ・ロボットと同様なクローラー制御を行うことが可能です。 X-Robots-Tag: noindex … インデックスしない。 X-Robots-Tag: noarchive … キャッシュしない。 X-Robots-Tag: noarchive, nosnippet … インデックスもキャッシュもしない。 X-Robots-Tag: nosnippet … スニペット(要約文)を表示しない。 X-Robots-Tag: unavailable_after: 31-Jul-2007 10:00:00 JST … 指定日以降、検索結果に表示しない。 ※ "31-Jul-2007 10:00:00 JST" 部分は、希望の日時を指定します。 ※ 詳細は「unavailable_after」を参照してください。 ★Robots Exclusion Protocol: now with even more flexibility [The Official Google Blog] http://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html ★Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster's Control http://www.ysearchblog.com/archives/000508.html |