|
|
クローラークローラー(crawler) クローラーとは、各サイトを巡回してページ情報を収集するプログラムのことです。 クローラーと同じ意味の言葉として、「ロボット」「ボット」、「スパイダー」、「サーチボット」、「巡回プログラム」、などがあります。 「クローラー」という表現は、crawl=虫がモソモソと動く(水泳のクロールと同義)から付けられた名称です。 「スパイダー」という表現は、「蜘蛛の巣(web)を這うのは蜘蛛(spider)」という関係から付けられた名称です。 関連ページ(施策): インデックス対策 クローラーの巡回を拒否する指定 クローラーの巡回を希望する指定 |