|
|
クローラーの巡回を希望する指定クローラーはrobots.txtまたはメタ・ロボットがなければ巡回しますので、巡回を希望する場合、特に指定する必要はありませんが、参考として巡回希望の指定を以下に記載しておきます。 ○トップディレクトリ直下のrobots.txt
┌──────────────────────── │User-agent: * │Disallow: └──────────────────────── ○ページのHEADセクション内に以下を記述（メタ・ロボット）
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> |