クローラーとは、検索エンジンが検索結果を表示するためにWebサイトの情報を収集する自動巡回プログラム（ロボット）のことです。クローラーによって収集（＝クロール）された情報はデータベースとして格納（＝インデックス化）され、検索結果表示に利用されます。

サイト本体を作るHTMLファイルだけでなく、PDFやExcelなど主要なアプリケーション形式のファイルも読み込みます。画像も収集しますが、alt属性や代替テキストで画像の内容を言葉で記述しない限り、クローラーには内容が認識されません。

AI時代における、最新のSEO対策や記事制作、コンテンツマーケティング課題の把握にお困りではありませんか？

SEO対策で検索1位を獲得したウィルゲートのAI活用法とSEOナレッジを詰め込んだ『AI時代のSEO攻略ガイド』をご活用ください。

無料で今すぐダウンロード

「自分でSEOの疑問を調べるは大変」
という方はウィルゲートにご相談ください。

「自社サイトにはどんなSEO改善をすれば良いのか？」「アルゴリズム変動で影響を受けたサイトを強化するにはどうしたら良いのか？」など、まだ具体的にサービス導入を検討していない方もお気軽にご相談ください。

＞＞ ご相談はこちらから

クローラーに正確に早く認識されることがユーザー獲得の必須条件

言うまでもなく、クローラーに認識されないと検索結果は表示されません。認識されるまでの期間が長いと結果表示までの期間も長くなります。人間であるユーザーと同じくらい、ロボットであるクローラーにもフレンドリーなサイトにしなければなりません。

■SEO課題を自動抽出する 上位表示支援SEOツール

クローラーへの配慮

１．ページを見つけやすくする「クローラビリティ」

• 内容が近いコンテンツを分類し、同じディレクトリ（グループ）にぶらさげる
• 重要なコンテンツは浅い階層に置く
• すべてのページに内部リンクを張る
• ページ情報をまとめた「XMLサイトマップ」を検索エンジンに登録

これらがクローラビリティに有効な施策となります。

２．早く多頻度に巡回してもらう

内容が充実したコンテンツの新設・更新を頻繁に行うことが基本です。Googleにクロールを促す「Fetch as Google（フェッチ・アズ・グーグル）」に登録する方法もあります。

３．ユーザーにとって価値がないページをクロールしないように設定する

SEO対策において、クロールが不要なページにはクローラーが回らないように、「robots.txt」で依頼することができます。
クローラーは1回の訪問でサイト内の全てのページをクロールしているわけではありません。クローラーが１回の訪問でクロールするページ数（クロールバジェット）は、サイトのオーソリティによって変動しているため、そのクロールバジェットよりもページ数が多いサイトは、１回の訪問で全てのページがクロールされません。そうなると、検索エンジンにインデックスされるのが遅くなってしまったり、古い情報のまま更新されなかったりという事態に陥る可能性が高まります。このような状態になるのを防ぐために、robots.txtでクローラーを制御する必要があります。

設定方法：robots.txtの書き方解説「クローラーを制御してインデックス効率化する」

４．適切にクロールをブロックできているか確認する

クロールしてほしくないページを依頼する方法は、metaタグ「noindex」など他にもあります。Googleでは「robots.txtテスター」で、意図通りにクロールをブロックできているかを確認することができます。