HTML解析とは、クローラーがWWW上を巡回する方法を決定するために行う、Webページのドキュメントに対する解析作業です。検索エンジンのクローラーは、ユーザーに申請されたWebページだけをクローリングするわけではありません。Webページのドキュメントに記載されるリンク情報を手がかりに、 WWW上の様々なWebページをたどっていきます。検索エンジンはそのために、HTML文法に基づいてドキュメントの内容を解析し、その中のハイパーリンクの内容を解析することで、次にクローリングすべきWebページのURIを取得します。