検索エンジンだけを向いたSEO施策のほとんどは、大きな効果はありません。しかし一部には例外もあります。この記事では、このサイトにおいて検索エンジンのためだけに実施した最適化(インデックスの制御)と、それによって得られた結果(検索トラフィックがほぼ二倍になった)について説明します。あくまでこのサイトの例ですが、参考になれば幸いです。

SEOのためだけの施策は(基本的に)しない

SEOの作業は基本的に、検索エンジンのためだけに実施するものはほとんどありません。ほとんどすべては、利用者の利便性を最優先に、検索エンジンが存在しなかったとしても同じように実施することに注力することばかりです。Google の品質に関するガイドラインには、基本方針として次のような記述があります(強調は筆者)。

  • 検索エンジンではなく、ユーザーの利便性を最優先に考慮してページを作成する
  • ユーザーをだますようなことをしない。
  • 検索エンジンでの掲載位置を上げるための不正行為をしない。ランクを競っているサイトや Google 社員に対して自分が行った対策を説明するときに、やましい点がないかどうかが判断の目安です。その他にも、ユーザーにとって役立つかどうか、検索エンジンがなくても同じことをするかどうか、などのポイントを確認してみてください。
  • どうすれば自分のウェブサイトが独自性、価値、または魅力のあるサイトといえるようになるかを考えてみる。同分野の他のサイトとの差別化を図ります。

検索エンジンのためだけのSEOを奨めない理由は、単に「Google のガイドラインにそう書かれているから」というだけの単純な話ではありません。集客を過度に検索に頼ったサイト運営は、環境変化のリスクが高いというのがもう一つの理由です。具体的には次のようなリスクがあることには注意すべきでしょう。

  • 人々が使用する検索サイトの移り変わり
  • 大手ポータルサイトが使用する検索エンジンの変更
  • 検索エンジンのアルゴリズムの変更
  • ペナルティによる順位低下やインデックス削除

運営しているサイトがどんなものであれ(たとえこのサイトのようにSEOをテーマにしたものであれ)、長期的に安定したサイト運用を考えるのであれば、検索のような特定の流入経路に強く依存することは避け、ソーシャルメディアや他のサイトからのリンク、ブラウザのブックマーク、広告など、様々な流入経路を開発することは重要です。

検索からの流入はあくまでも、その他の流入を増やすための施策を繰り返した結果として、後からついてくるものです。また検索流入は、先述したような環境変化の影響を受けるため安定しにくく、強く依存すればそれは大きなリスクになります(この点については僕は少し神経質になりすぎているかもしれませんが)。

GA トラフィックの分布

上のスクリーンショットは、このサイトの直近の数年分の流入分布です(時期による偏りを均す意味で数年分を表示)。検索流入は少なめですが、これは僕にとっては理想に近い分布であり、このような分布になっていれば、少々の環境変化には難なく耐えることができます。このサイトはSEOのサイトでありながら、過度にSEOに頼った集客はしていないのです。

それでも実施した検索エンジンのためだけの施策

このサイトでは、集客経路の開発において検索トラフィックに過度に依存しないことを心がけており、そのため、検索エンジンのためだけに実施している施策はほとんどありません。しかし、まったく何もしていないわけではありません。検索エンジンが存在しなかったとしたら実施しない、検索エンジンのためだけに実施していることも、わずかながらあります。

検索エンジンが存在しなかったとしたら、サーバに XML Sitemaps や robots.txt を設置することはなく、ページに noindex METAタグを記述したりすることもないでしょう。これらは検索インデックスを制御するための仕様であり、これらの実施は検索エンジンが存在するからこそ存在する行為です。

このサイトはオリジナルの記事ページを100ページ前後しか持たない小規模サイトで、クローラーが迷うほどの規模はありません。このため XML Sitemaps はあってもなくても大差はありません(一応置いてはいます)。しかし、robots.txt や noindex METAタグは、このサイトには大きな影響があります。

このサイトで検索エンジンのためだけに実施したことを端的に言えば「不要なページをインデックスさせないようにする」というもので、当初は robots.txt を使い、その後一年半ほど経った後に noindex METAタグを使用するようになりました。こうした施策をすることになった発端は、2010年2月に Google から受けたペナルティです。

Google によるペナルティとその対応の経緯

このサイトでは、ウェブ上から自動で収集したSEOに関する記事の一覧を配信しており、その機能の実装のために Pligg というCMS を利用しています。Pligg は収集した記事の一覧を生成するだけでなく、収集した記事ごとにこの例のような記事紹介ページも生成します。また、大量のタグページや検索結果ページのような形で、大量の重複ページを生成します。

一覧ページも個別記事ページも(またはタグページのように大量に自動生成されるその他のページ群も)ウェブスクレイピングであり、オリジナルの内容はまったくなく、検索者にとっては価値がありません。

それら自動生成されたページ群はくまなくクローリングされインデックスに追加されていましたが、しかしそれらのページは重複として適切に処理され、検索結果には表示されない、という状態で、このサイトの検索流入は長期間安定していました。しかし 2010年2月に突然、このスクレイピングのページ群が原因となり、このサイトは手動対応のペナルティを受けました。ペナルティの影響はサイト全体に及び、検索トラフィックは激減しました。

ペナルティを受けてすぐに実施したことは、Pligg で生成しているページのうち、新着と注目のそれぞれの1ページ目を除くすべてのページを、robots.txt で Disallow した上で、ウェブマスターツールの「URLの削除」機能でインデックスから削除する、というものでした。インデックスされていた10,000ページほどを削除し、この作業の結果、ペナルティはすぐに解除されました。

パンダアップデートとインデックスの大掃除

ペナルティの解除後は、長らくそれ以上のことは何もしないでいたのですが、パンダアップデートが日本でも実施されたことを受け、2012年7月から、このサイトではある施策を開始しました。インデックスの大掃除です。

先に述べたとおり、このサイトでは当時、スクレイピングのコンテンツを robots.txt でクロールしないように設定しただけの状態で運用していました。しかしこれは、不要なインデックスを避けるという意味では不完全です。robots.txt で Disallow を設定しただけでは、Googleが内容を読みに来なくなるというだけで、検索結果には表示されるからです。

2012年7月時点でのこのサイトは、実際のページ数はわずか100ページ少々であるにも関わらず、site:https://www.searchengineoptimization.jp と検索すると「約 5,200 件中」のような不自然な表示になっていました。その時点では検索ランキングへの悪影響はないように見えましたが、将来を見据えてインデックスを大掃除することに決めました。この決定の根拠となったのは、Google ウェブマスター向け公式ブログ: 良質なサイトを作るためのアドバイスの中にあった次の箇所です。

なお、低品質なコンテンツがサイトの一部にしか存在しない場合でも、サイト全体の掲載順位に影響を与えることがあるということにご注意ください。低品質なページを削除したり、内容の薄いページをまとめて役に立つコンテンツに改善したり、もしくは低品質なコンテンツを他のドメインに移動させたりすることが、最終的に良質なコンテンツの掲載順位を改善することにつながります。

上記引用は、サイト上に存在する低品質なページがサイト全体の評価を下げる可能性を示唆しています。このサイトでは従来、スクレイピングによる低品質なページは robots.txt でブロックしていましたが、この方法ではインデックスから完全に削除することはできません。悪影響を及ぼす可能性は排除し切れていなかったのです。

そこで確実にインデックスから削除させるために、Pligg で生成しているページのほとんどすべてに noindex METAタグを挿入し、robots.txt での制御を中止しました。robots.txt での制御をやめることで、Googlebot に noindex が指定されているページを再びクロールさせ、インデックスから完全に削除することを意図した作業です。

Pliggで生成されていたページ群はどれも、もともとオリジナルの内容を含まない低品質なものばかりですから、robots.txt の制御を外してもクロールの頻度は極めて低く、なかなか新たにクロールし直してもらえません。しかも目的はインデックスからの削除ですから、クロールを促進するための通常の積極的な施策(XML Sitemaps など)は使えません。インデックスの掃除はゆっくりと時間をかけて進んでいきました。

不要なインデックスを削除した結果

下の画像は Google ウェブマスターツールで2012年9月から1年間の「インデックス ステータス」を表示したものです。robots.txt によるURLのブロックから、noindex METAタグによるインデックスの禁止へと移行するのに、半年以上の期間を要したことがわかります。robots.txt でブロックしたページの総数は一桁にまで減り、インデックスされたページ総数も100を少し超える程度まで減りました。

WMT インデックスステータス

そして下の画像は、インデックスを整理していた上記期間とほぼ同じ時期の、Google Analytics による「オーガニック検索トラフィック」の推移です。具体的な数字はぼかしていますが(正直たいした数字じゃないです)、流入数が二倍近くに増加したことが見て取れます。

GA オーガニック検索トラフィック

2013年1月終わり頃までの4ヶ月ほどの期間では特に、WMTのインデックス ステータス、GAのオーガニック検索トラフィックの両方が連動する形で、急激に変化していることは注目です。あくまで仮説ですが、大量に存在していた不完全なインデックスによって低いほうに引っ張られていたサイトの評価が、不要なインデックスを取り除くことによって正常な状態に戻った、と考えてもよいかもしれません。

低品質なページを削除または noindex 指定することによってサイト全体の評価が向上する現象は、このサイトだけでなく、様々なサイトで一般的に見られるものです。明らかな低品質なページや重複コンテンツがサイト内に一定数ある場合には、noindex METAタグの指定(そうした施策を外部に知られたくない場合には X-Robots-Tag を使用する)を実施してみることをおすすめします。(参考:クローラーとインデクサの制御

ただし注意したいことは、この種のインデックスの制御は検索エンジンだけを対象にした施策(もっといえば現時点での Google だけを対象にした施策)であり、訪問者の満足とは何ら関わりがないため、サイトのマーケティング全体から見れば些細なことです。また現時点での検索の仕様に特化したものであるため、持続性にも疑問が残ります。

加えて、このサイトのインデックスの整理が進行した期間内には、ほんの数ページですがコンテンツの追加も実施していて、それにともなって被リンクも増加しています。また検索エンジンのアルゴリズムもいつも通り調整が繰り返されています。検索流入の変化には、そうしたことも少なからず影響していると考えるのが自然でしょう。すべてのサイトが同じ施策によって同じ効果が得られるとは限らないということには注意してください。

そうした注意点がある一方で、ここまでいくつかのスクリーンショットで示したとおり、この施策がそれなりの効果を発揮したことは事実です。このサイトの場合、トラフィック全体に占める検索トラフィックの割合はそれほど多くないため、サイト運営上のインパクトはそれほど大きなものではありませんでしたが、サイトの状況によっては、この施策によって大きな効果を生むことができるかもしれません。