クロールバジェットとは、GooglebotがWebページをクロールできる上限のことです。クローラーがサイトをクロールできるのは、Webページに次のURLへ繋がるリンクがあるからです。しかしGooglebotがWebサイト内のページをクロールする能力には限りがあります。本来クロールできるURLがあっても、この上限を超えているとクロールされないということが起こるのです。

クロールバジェットを意識すべきサイト

クロールバジェットを意識しなければいけないのは、ページが数千、数万以上に及ぶような大規模サイトです。

例えば、毎日多くのユーザーが無数のコンテンツを投稿しているブログ投稿プラットフォームやアマゾンのような大規模なECサイトなどです。このような場合だとGooglebotがクロールを無限に繰り返してしまい、バジェット上限を超えてしまいます。

上述したように、クロールバジェットの対象となるサイトは一握りの大規模サイトです。基本的にその他のサイトやブログでGooglebotがクロールできないほどのコンテンツが生成されることはないので、ほとんどの場合クロールバジェットを気にかける必要はありません。

■SEO課題を自動抽出する 上位表示支援SEOツール

クロールバジェットについてGoogleの見解

2017年1月17日、Webマスター向け公式ブログでGoogleがクロールバジェットについて見解を発表しました。

URL数が数千以下のWebサイトにおいてはほとんどの場合、効率よくクロールが行われるため多くのWebサイト運営者はクロールバジェットを気にする必要はないと言っています。また、クロールバジェットの対象となる一握りの大規模サイトやURLパラメータを使用してページを自動生成するサイトは、クロールの対象やタイミングなどに優先順位をつけることが重要だと言及しています。

記事中では、付加価値の低いURLが多数あるとクロールバジェットに悪影響を及ぼすことも説明されました。価値の低いURLが多いとそれらでGooglebotがバジェットを浪費してしまい、価値のあるページが十分にクロールしてもらえない可能性があります。

価値の低い URL カテゴリ（重要度順）

• ファセット ナビゲーションとセッション ID
• サイト内の重複コンテンツ
• ソフトエラー ページ
• ハッキングされたページ
• 無限のスペースとプロキシ
• 質の低いコンテンツやスパム コンテンツ

このような質の低いURLを記載しないようにする必要があります。

参照：Google Webマスター向け公式ブログ「Googlebot のクロール バジェットとは？」