クローラーの役割と注意
クローラーとは、検索エンジンにデータを収集するため、web上を定期的に巡回するプログラムのことです。
他にもSEO用語で、「ボット」や「スパイダー」などと呼ばれることもあります。
検索エンジンにサイトのデータを登録するためのクローラーは有名ですが、他にも、
統計を取るために利用されることもあります。
クローラーは、HTMLを読み取り、その中に含まれるリンクを辿って情報を収集します。
SEOで内部や外部のリンクが大事というのは、このためです。
新しい情報に出会えば、持ち帰り検索エンジンに登録しますし、もともと登録されていた情報がなくなっていれば、
検索エンジンから削除します。
近年では、健全なクローラーを装い、メールアドレスなどを収集するクローラーも存在しています。
健全なクローラーの場合、訪問した際にデータ収集先のURLを残すので、情報の提供先が分かります。
不健全なクローラーは、一般のユーザーを装うことも多いので、SEOツールでアクセス解析をした際、
不審な履歴が残っていたら、そのままにせず、検証することをおすすめします。