|
|
クローラークローラー（crawler） クローラーとは、各サイトを巡回してページ情報を収集するプログラムのことです。 クローラーと同じ意味の言葉として、「ロボット」「ボット」、「スパイダー」、「サーチボット」、「巡回プログラム」、などがあります。 「クローラー」という表現は、crawl＝虫がモソモソと動く（水泳のクロールと同義）から付けられた名称です。 「スパイダー」という表現は、「蜘蛛の巣（web）を這うのは蜘蛛（spider）」という関係から付けられた名称です。 関連ページ（施策）： インデックス対策 クローラーの巡回を拒否する指定 クローラーの巡回を希望する指定 |
|