Webページの画像SEOを
無料でチェック

robots.txtとは

robots.txtとは、検索エンジンやAI関連のクローラーに対して、Webサイト内のどの場所をクロールしてよいか、どの場所へのアクセスを制限するかを伝えるためのファイルです。通常はドメイン直下に設置され、Googlebotなどの検索エンジンクローラーだけでなく、AI検索やAI学習に利用されるクローラーの制御にも使われます。

このチェックツールでは、URLを入力するだけでrobots.txtを取得し、Googlebot、OAI-SearchBot、GPTBot、Google-Extended、PerplexityBotなど主要なクローラーに対するAllow・Disallowの設定を分かりやすく確認できます。

Googlebotのクロール設定を確認できます

Googlebotは、Google検索のためにWebページをクロールする代表的なクローラーです。robots.txtでGooglebotが対象ページやディレクトリをブロックされている場合、Googleがそのページをクロールできない可能性があります。

このツールでは、入力したURLに対してGooglebotがクロール可能かどうかを判定し、どのrobots.txtルールが適用されているかを確認できます。

OAI-SearchBotの設定を確認できます

OAI-SearchBotは、ChatGPT検索でWebコンテンツを発見し、検索結果として表示・引用するために利用されるOpenAIのクローラーです。

ChatGPT検索から自分のWebページを見つけてもらいたい場合は、OAI-SearchBotがrobots.txtでブロックされていないか確認することが大切です。このツールでは、対象URLに対するOAI-SearchBotのクロール可否を分かりやすく表示します。

GPTBotの設定を確認できます

GPTBotは、OpenAIのモデル改善や学習用途に関連するクローラーです。OAI-SearchBotとは役割が異なります。

そのため、ChatGPT検索にはページを表示させたい一方で、AIモデルの学習用途には利用させたくない場合は、OAI-SearchBotを許可し、GPTBotをブロックするといった設定も考えられます。

このツールでは、OAI-SearchBotとGPTBotを別々に判定するため、検索公開とAI学習用途の設定を混同せずに確認できます。

Google-Extendedの設定を確認できます

Google-Extendedは、Googleの生成AI関連用途でWebコンテンツを利用する際の制御に使われるトークンです。通常のGooglebotとは役割が異なります。

Google-Extendedを制限することと、Google検索への掲載を止めることは同じ意味ではありません。このツールではGooglebotとGoogle-Extendedを分けて表示し、それぞれの設定を確認できるようにしています。

PerplexityBotの設定を確認できます

PerplexityBotは、Perplexityの検索機能などでWebコンテンツを取得するために利用されるクローラーです。

AI検索サービスから自分のコンテンツを発見してもらいたい場合は、PerplexityBotに対するrobots.txtの設定も確認しておくとよいでしょう。

User-agentの設定を確認できます

robots.txtでは、User-agentを使ってどのクローラーに対するルールなのかを指定します。

たとえばGooglebotだけに適用するルール、OAI-SearchBotだけに適用するルール、すべてのクローラーに共通するルールなどを分けて記述できます。

このツールでは、クローラーごとの個別指定と、User-agent: *による共通指定を分けて確認できます。

AllowとDisallowを分かりやすく確認できます

robots.txtでは、Disallowでクロールを制限する場所を指定し、Allowで特定の場所へのクロールを許可することができます。

複数のルールが設定されている場合は、単純にDisallowが存在するだけでは判断できません。このツールでは、入力されたURLに対して実際にどのルールが適用されるかを確認し、クロール可能かどうかを表示します。

robots.txtを日本語で読み解けます

robots.txtは記述自体はシンプルですが、User-agent、Allow、Disallowなどの意味に慣れていないと、どの設定がどのクローラーへ適用されるのか分かりにくいことがあります。

このツールではrobots.txtの内容をそのまま表示するだけでなく、「このディレクトリはGooglebotに対してクロール禁止」「OAI-SearchBotには許可されている」といった形で、設定内容を日本語で理解しやすく表示します。

robots.txtの原文も確認できます

自動判定だけでなく、実際に取得したrobots.txtの内容も確認できます。

WordPressテーマやプラグイン、サーバー設定などによって意図しないルールが追加されていないか確認したい場合は、判定結果と原文をあわせて確認してください。

Sitemapの記載を確認できます

robots.txtには、XMLサイトマップのURLをSitemapとして記載できます。

このツールではrobots.txt内にSitemap指定が存在するかを確認し、記載されているサイトマップURLを表示します。XMLサイトマップの場所を検索エンジンへ伝える方法のひとつとして確認できます。

meta robotsも確認できます

robots.txtでクロールを許可していても、ページ側にmeta robotsによるnoindexなどが設定されている場合があります。

このツールではrobots.txtだけでなく、対象ページに設定されているmeta robotsも確認し、検索エンジンへのインデックス設定を把握しやすくします。

meta googlebotの設定を確認できます

HTMLには、Googlebotだけを対象にしたmeta name=”googlebot”を設定することもできます。

共通のmeta robotsではindexを許可していても、Googlebotだけにnoindexが指定されている場合などがあります。このツールでは共通設定とGooglebot専用設定を分けて確認できます。

X-Robots-Tagも確認できます

検索エンジンへのインデックス制御はHTMLのmetaタグだけでなく、HTTPレスポンスヘッダーのX-Robots-Tagで指定される場合もあります。

このツールでは取得できる範囲でX-Robots-Tagも確認し、HTMLだけを見ていると気づきにくいインデックス制御を見つける材料にできます。

robots.txtのブロックとnoindexは同じではありません

robots.txtのDisallowは、クローラーによるページへのアクセスを制御するための設定です。一方、noindexは検索結果へページを掲載しないよう伝えるための設定です。

目的が異なるため、「検索結果に出したくないからrobots.txtでブロックする」といった使い方では、意図した結果にならない場合があります。クロール制御とインデックス制御を分けて考えることが大切です。

Google検索とAI検索ではクローラーが異なります

従来のSEOではGooglebotなど検索エンジンのクローラーを確認することが中心でしたが、AI検索の普及によって、AIサービスごとのクローラー設定も確認する機会が増えています。

Googlebotを許可しているからといって、OAI-SearchBotやPerplexityBotも必ず許可されているとは限りません。robots.txtで個別のUser-agentが設定されている場合は、それぞれ確認する必要があります。

ChatGPT検索には許可してAI学習は拒否する設定もできます

OAI-SearchBotとGPTBotは役割が異なるため、robots.txtで別々に制御できます。

たとえばChatGPT検索からコンテンツを見つけてもらうためOAI-SearchBotを許可しながら、GPTBotはDisallowで制限するといった設定が可能です。

このツールでは両者を別々に表示するため、現在どのような公開方針になっているかを確認しやすくなります。

AIクローラーをすべて許可する必要はありません

AI検索や生成AIに関するクローラーをすべて許可しなければSEO上問題になるというものではありません。

Webサイト運営者が、自分のコンテンツをどのサービスにクロールさせたいのか、検索結果への表示を望むのか、AI学習用途への利用を許可するのかを考えて設定することが重要です。

User-agent: *の共通ルールに注意しましょう

User-agent: *は、特定のクローラーだけではなく幅広いクローラーへ適用される共通ルールとして利用されます。

個別にOAI-SearchBotやGooglebotを記載していなくても、共通ルールによってクロールが制限されている場合があります。このツールでは個別指定がない場合に共通ルールも考慮して判定します。

WordPressのrobots.txtも確認できます

WordPressでは、実ファイルとしてrobots.txtを設置していなくても、仮想的なrobots.txtを出力する場合があります。

テーマやSEOプラグイン、サーバー設定などによって内容が変わる場合もあるため、WordPress管理画面の設定だけではなく、実際に外部へ公開されているrobots.txtを確認することが重要です。

WordPressの検索エンジン表示設定にも注意しましょう

WordPressには検索エンジンによるサイトのインデックスを抑制するための設定があります。サイト制作中に設定したまま公開すると、検索エンジン向けの設定が意図した状態になっていない場合があります。

サイト公開後は、robots.txtだけでなくnoindexなども含めて実際の公開ページを確認してください。

サイトリニューアル後はrobots.txtを確認しましょう

制作中のステージング環境ではクロールを制限し、本番公開時に解除する運用が行われる場合があります。

サイトリニューアルやサーバー移転後に制限が残っていると、重要なページをクローラーが取得できない可能性があります。公開後はrobots.txtとページ側の設定を確認することをおすすめします。

ディレクトリ単位の制限に注意しましょう

robots.txtではページ単位だけでなく、ディレクトリ全体をDisallowすることもできます。

たとえば特定ディレクトリをブロックした結果、その配下にある公開したい記事までクロールできなくなる場合があります。対象URLを入力して実際の判定を確認すると、こうした設定ミスを見つけやすくなります。

robots.txtを変更したら再チェックしましょう

robots.txtはわずかな記述変更でも複数のページやクローラーへ影響する場合があります。

設定を変更した後は、Googlebotだけでなく、OAI-SearchBotやGPTBotなど意図したクローラーに対して正しい設定になっているか再確認してください。

AI検索への対応はrobots.txtだけで決まるわけではありません

AI検索のクローラーを許可していても、必ずAI検索結果へページが表示・引用されることを意味するものではありません。

検索サービス側の判断に加えて、ページ内容の品質、アクセス可能性、インデックス状況などさまざまな要素が関係します。robots.txtはクローラーがページへアクセスできる状態かを確認するための技術的な設定のひとつです。

SEOでもクロール許可だけでは十分ではありません

Googlebotがページへアクセスできる状態でも、それだけで検索順位やインデックスが保証されるわけではありません。

検索ユーザーが求める情報を提供できているか、重複やnoindexなど別の問題がないか、内部リンクやサイトマップからページを発見できる状態かなどもあわせて確認してください。

診断結果はrobots.txtとAIクローラー設定の確認にご利用ください

このrobots.txt・AIクローラーチェックツールは、公開されているrobots.txtや対象ページの設定を取得し、Googlebot、OAI-SearchBot、GPTBot、Google-Extended、PerplexityBotなどのクロール可否を確認するための簡易診断ツールです。

クローラー各社の仕様やUser-agentは将来変更される可能性があります。また、WAFやCDNなどのアクセス制限によって、通常とは異なる結果が返される場合があります。

診断結果を参考に、Google検索、ChatGPT検索、AI学習用途など、自分のWebサイトの公開方針に合わせてrobots.txtやnoindexの設定が意図した状態になっているか確認してください。