今野 直倫 
Googleなどの検索エンジンは、Web上にあるページの情報を集めるために「クローラー」というロボットを利用しています。
しかし、「そもそもクローラーって何？」「どうやったら、クローラーにWebページを巡回しに来てもらえるの？」という疑問を持っている方も多いのではないでしょうか？
この記事では、SEO対策をするうえで重要なクローラーについて、仕組みや重要性を解説します。
また、クローラーに巡回しに来てもらう方法も併せて紹介しますので、SEO対策を行ううえでの参考としてください。
SEO対策で重要な「クローラー」とは
クローラーとは、Web上にあるページの情報を集める検索エンジンのロボットを指します。
Web上には膨大な数のページがあり、常に増え続けています。クローラーはそれらのWebページにアクセスし情報を確認・収集し、検索エンジンに登録しているのです。
クローラーの役割
クローラーの役割は、Web上にあるページの情報を整理し、検索エンジンに正しくインデックスすることにあります。具体的には、主に以下の2つがクローラーの役割といえるでしょう。
クロールによる情報の検出
Web上のリンクからリンクをたどって、ユーザーと同じようにWebページを回遊します。訪れたWebページの情報を収集し、Googleのサーバーへ蓄積するのです。
インデックスによる情報の整理
クローラーは、収集したWebページの情報を検索インデックスに記録していきます。各Webページに含まれているすべての語が1つずつインデックスされていきます。
クロールの対象
クローラーがリンクからリンクをたどって、Web上にあるページを巡回することをクロールといいます。クロールの際、クローラーはWebページ上のありとあらゆる情報を収集しています。
テキストやHTMLが基本ですが、リンク先の情報やアクセスログなども参照していると考えられます。ページに関連するすべての情報が対象となるといっても過言ではありません。
Googleのクローラー「Googlebot」とは
Googlebotとは、Googleのクローラーの総称です。Googleには以下の2種類のクローラーがあり、それぞれがWebページを巡回しています。
- デスクトップクローラー：デスクトップでユーザーをシミュレートする
- モバイルクローラー：モバイル デバイスでユーザーをシミュレートする
対象のWebサイトがモバイルファーストインデックスに移行している場合、クロールの大部分はモバイルクローラーによって行われます。一部がデスクトップクローラーによって行われる形です。
まだ移行していない場合は、デスクトップクローラーが大部分を、モバイルクローラーが一部分をクロールします。
SEO対策におけるクローラーの重要性
SEO対策において、クローラーが巡回しに来ているかどうかは非常に重要なポイントになります。なぜなら、クロールされていないページは、上位表示どころか検索結果にも表示されないからです。
公開されたWebページは、以下のような流れを経て検索結果に表示されます。
- クローラーがWebページの情報を収集する
- 収集した情報をクローラーがインデックスする
- インデックスされた情報を基にランク付けされる
したがって、クローラーに巡回しに来てもらうことが、SEO対策を行ううえでのベースになるということです。上位表示を狙うのであれば、クローラーについて理解することは必須といえます。
クローラーが巡回しに来ているか確認する方法
SEO対策の効果があまり感じられない場合、まずはクローラーが巡回しに来ているかを確認しましょう。クローラーが巡回しに来ているかを確認する方法としては、主に以下の2つがあります。
site:検索を使う
ドメイン名の前に「site:」を付けて検索することで、ドメイン内で検索エンジンにインデックスされているページを検索することができます。
こちらの方法で検索しても出てこない場合、インデックスされていないと考えてよいでしょう。
Googleサーチコンソールを使う
Googleサーチコンソールの「クロールの統計情報」レポートを利用すると、クローラーの巡回状況を確認することができます。レポートの開き方は、以下のとおりです。
- 左側のメニューから［設定］を選択
- クロールの統計情報［レポートを開く］を選択
クローラーにWebサイトを巡回させる方法7選
クローラーがWebページに巡回しに来ていない場合、早急な対策が必要です。クロールされていないWebページは、上位表示はおろか、検索結果にすら表示されることはありません。
また、適切にクロールされている場合も、クローラーが巡回しやすいWebページにすることで、検索結果への反映を早めることができます。まずは、下記7つの対策を取り入れてみましょう。
1. XMLサイトマップを作成・送信する
XMLサイトマップとは、Webサイト構造をGoogle検索エンジンに直接伝えるためのファイルです。Webサイトの構造を伝えておくことで、それを参考にしてクローラーが巡回しやすくなります。
XMLサイトマップの作成・送信方法については、以下の記事で解説しています。こちらも併せて参考にしてください。
2. インデックス登録をリクエストする
Googleサーチコンソールを利用すると、インデックス登録のリクエストを送ることができます。ただし、あくまでもリクエストなので、必ずしもインデックスされるとは限らない点に注意しましょう。
インデックス登録のリクエスト方法については、以下の記事で解説しています。こちらも併せて参考にしてください。
3. 正規のURLを設定する
同じコンテンツであるにかかわらず複数のURLが存在していると、不用意にクロールさせることになってしまいます。したがって、複数のURLがある場合は、正規のURLに統一するようにしましょう。
正規のURLを設定する方法については、以下の記事で解説しています。こちらも併せて参考にしてください。
4. ディレクトリ構造を見直す
Webサイトのディレクトリ構造を整えることで、クローラーがサイト内を巡回しやすくなります。階層が深すぎるとクローラーがたどり着けない恐れがあるため、3階層程度が目安です。
5. パンくずリストを設定する
パンくずリストとは、ページの上部または下部に設置された、サイト構造を示すリンクのことを指します。サイト構造を分かりやすくすることで、クローラーがサイト内を巡回しやすくなるのです。
その他、サイト内の内部リンクを最適化することも、クローラーの巡回を助けるのに効果的といえます。詳しくは、以下の記事を参考にしてください。
6. アンカーテキストでリンクを設置する
アンカーテキストとは、リンクに設定する文字列のことです。クローラーはテキストから内容を判断しているため、英数字の羅列よりもテキストでリンクを設定したほうが理解しやすいのです。
また、テキストとリンク先の内容が一致していると、SEO的に好影響だといわれています。リンク先のページタイトルをアンカーテキストで設置するなど、内容も一致させましょう。
7. 被リンクを獲得する
被リンクとは、外部サイトから自サイトに当てられたリンクを指します。クローラーはリンクからリンクを辿って巡回しているため、被リンクを獲得することはクロールの促進に効果的です。
被リンクの獲得方法については、以下の記事で解説しています。こちらも併せて参考にしてください。
クローラーに巡回させたくないときの対策4選
Webサイトのなかには、SEO的に評価の落ちる可能性のあるページもあるでしょう。そういったページには、クローラーを巡回させないようにすることもできます。
検索結果に表示する必要がなく、かつSEO評価の低下につながりそうなページは、以下の方法で巡回させないようにしてもよいかもしれません。
robots.txt
robots.txtとは、どのページやファイルをサイトからリクエストできるか、またはできないかをクローラーに知らせるファイルを指します。これによりリクエストを制御することで、サーバーへの負荷を軽減するのが主な目的です。
nofollowタグ
nofollowとは、クローラーにページを辿らせないようにするためのタグです。nofollowタグには、ページ内にあるリンク先を辿らせないようにするものと、特定のリンクを辿らせないようにするものがあります。
- meta name=”robots”：ページ内にあるaタグのリンクをクローラーが辿らなくなる
<meta name=”robots” content=”nofollow”> - rel=”nofollow”：設定したリンク先へクローラーが巡回しなくなる
<a rel=”nofollow” href=”URL”>テキスト</a>
リンク先が質の悪いページで、リンク元のページのSEO評価に悪影響となりそうな場合などに使うことが多いです。
クローラーの仕組みを知ってSEO対策に活かそう！
SEO対策を行なってWebページを上位表示させるためには、まずはクローラーに巡回しに来てもらわなければいけません。そのために、クローラーの仕組みをあらかじめ把握しておきましょう。
また、クローラーに巡回しに来てもらうための対策を行うことで、公開したページが適切にインデックスされたり、上位表示されるまでの期間が短くなったりと、SEO的にも好影響です。
SEO対策に携わっている人は、今回紹介した対策を取り入れて、クローラーにクロールしに来てもらえるようにしておきましょう。