SEOで検索結果に表示されるためには、Googleにサイトを理解してもらい、検索で表示できるように読み込んでもらう必要があります。そのためには、次の2点が満たされていることが条件になります。
- GooglebotというGoogleのウェブクローラにサイトをクロールしてもらう
- ウェブコンテンツがユーザーに見えるようレンダリングしてもらう
この「クロール」と「レンダリング」が重要なのですが、それぞれどのような仕組みになっているのか見ていきましょう。
Googlebot ウェブクローラ
Googlebotと呼ばれるウェブクローラは、検索エンジンでコンテンツを表示させるために、各ウェブサイトからコンテンツを取得します。サイト間をリンクでたどり、アクセス先のページをダウンロードし、検索結果に表示できるようGoogleのサーバーに保管します。
その後、検索結果に表示するために、ダウンロードしたウェブコンテンツを機械学習などのアルゴリズムで分類・解析し、ユーザーが検索した際に、適切な回答を返せる状態にします。Googleが使用しているこれら一連の動作をするためのウェブクローラを、Googlebotと呼んでいます。
ちなみにMicrosoftの検索エンジン「Bing」のウェブクローラは「Bingbot」です。
レンダリング
ユーザーはさまざまなブラウザやデバイスで検索結果を見ます。ウェブコンテンツがユーザーに対してどのように表示され、動作するかを理解するためにGooglebotは「レンダリング」というプロセスを行います。レンダリングは、GoogleがURLを取得しそのページのコードファイル（HTMLなど）を実行します。これは、ブラウザがウェブコンテンツを表示する原理と同じです。次に最初に取得したコードファイルが参照するすべてのリソース（画像、CSSなど）をクロールし、最終的にページの外観を作成します。これにより、Googleはコンテンツをより深く理解します。
Fetch as Goolge
この2点が可能になって、はじめてウェブコンテンツは検索結果に表示されるようになります。Googleが正しくクロールできなかったり、レンダリングができない場合には、クローラがそのサイトの情報を収集することができず、検索結果に表示されません。この問題を解決するためのツールを、Googleはウェブマスター向けに提供しています。それが「Fetch as Goolge」です。Fetch as Goolgeは「Search Console」の機能の一部です。
※Fetch as Goolgleのキャプチャです
Fetch as Googleを使うことで、サイトのクロールまたはレンダリングのテストを行うことができます。Googlebotがサイト上のページに適切にアクセスできているかどうか、またページのレンダリング方法など、ページのリソースがGooglebotに対してブロックされていないかなどを確認することができます。クロールとレンダリングの実行をテストし、サイト上のクロールに関する問題をデバッグする際に便利なツールです。使い方は、下記URLより確認してみてください。
《使い方》
Use Fetch as Google for websites - Search Console Help
最後に
クローラによりよくクロールしてもうらうための方法（クローラビリティ）や、あえてページをクロール・レンダリングさせない方法もあるため、今後紹介できればと思いっています。Googleによりよくサイトを理解してもらうための重要な知識だと思いますので、今後ともチェックいただければ嬉しいです。
《参考》
サイトのコンテンツを Google が取得する方法 - Search Console ヘルプ
Google・SEO関連のオススメ人気記事紹介
GoogleやSEO関連でおすすめの記事はこちらです。ぜひチェックしてみてください！