SEO2026-05-17
robots.txt(ロボッツテキスト)
別名: robots.txt / クローラー制御ファイル
サイトルートに置くテキストファイル。クローラーがアクセス可能な URL とアクセス禁止の URL を `User-agent` と `Disallow`/`Allow` ディレクティブで指定し、クロールの範囲を制御する。
概要
robots.txt は Robots Exclusion Protocol に基づく業界標準ファイルです。管理画面・ステージング環境・重複コンテンツページへのアクセスを禁止する用途が一般的です。なお、`Disallow` はインデックス禁止ではなくクロール禁止であるため、既存インデックスは除去されません。
AI クローラー制御
GPTBot・ClaudeBot・Google-Extended など AI 学習クローラーを個別に制御できます。詳しくは Google-Extended や llms.txt のエントリ、および LLMO 技術実装ガイド を参照ください。
関連コラム
SEO
llms.txt と構造化データ — LLMOの技術実装ガイド|AI検索対応の完全チェックリスト
LLMOを実現するための技術実装を網羅的に解説。llms.txtの作成方法、schema.org構造化データ、JSON-LD実装パターン、サイトマップ最適化から、Next.jsでの実装例まで、AI時代の技術SEOを完全ガイドします。
SEO
SEOに強いWebサイト設計の基本|検索エンジンに評価されるサイト構造
検索エンジンに評価されるWebサイトの設計手法を基礎から解説。セマンティックHTML・構造化データ・内部リンク設計など、品川区のSEOに強いWeb制作会社が実践的なノウハウを共有します。
SEO
Google公式「AI Optimization Guide」徹底読解 — AI Overviews / AI Mode 時代の正解と、巷のGEO/AEO論で否定された施策【2026年5月版】
Google が2026年5月15日に Search Central で公開した公式ガイド「Google's Guide to Optimizing for Generative AI Features on Google Search」を、原文ベースで徹底読解。AI Overviews / AI Mode の仕組み、公式が推奨する施策と明示的に否定した施策(llms.txt 不要・AI専用構造化データ不要・チャンク化不要・AI向け書き分け不要)、構造化データ・robots.txt・Google-Extended の扱い、Search Console の計測現状、GEO/AEO/LLMO 用語の位置づけ、そして第三者調査(Ahrefs 58% / Semrush 34.5% CTR 下落)まで整理しました。
お気軽にご相談ください
お問い合わせ