ユーザーに対して新鮮で精度の高い情報を提供するためには、検索システム全体で限られたリソースを効率的に使うことが欠かせません。特に、WWW上には膨大なWebページが存在するため、クローリングの作業には多大なリソースが必要となります。そのため、検索エンジンは次のようなクロール技術(巡回技術)を用いて、クローリングを少しでも効率的に行えるように努力しています。