クローラー

クローラー（crawler）

クローラーとは、各サイトを巡回してページ情報を収集するプログラムのことです。

クローラーと同じ意味の言葉として、「ロボット」「ボット」、「スパイダー」、「サーチボット」、「巡回プログラム」、などがあります。

「クローラー」という表現は、crawl＝虫がモソモソと動く（水泳のクロールと同義）から付けられた名称です。

「スパイダー」という表現は、「蜘蛛の巣（web）を這うのは蜘蛛（spider）」という関係から付けられた名称です。

関連ページ（施策）：
　　インデックス対策
　　クローラーの巡回を拒否する指定
　　クローラーの巡回を希望する指定