Accessibilité de l'URL

L'accessibilité de l'URL mesure la capacité d'un moteur IA à atteindre, charger et indexer une page au moment où il en a besoin, pendant l'entraînement comme pendant le grounding. C'est le pré-requis le plus élémentaire : une page qui répond 403 aux user agents IA ou que Cloudflare filtre par défaut est invisible, quelle que soit la qualité de son contenu.

Shepard la classe au rang 1 sur 23 (score 9,5 / 10) en soulignant que la complexité monte avec la multiplication des agents (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended) et des protections périmétriques type Cloudflare Bot Management qui les bloquent par défaut.

• Codes HTTP pour chaque user agent IA : tester curl -A 'GPTBot', ClaudeBot, PerplexityBot, Applebot-Extended, Google-Extended. Attendu : HTTP 200. Tout 403, 429 ou challenge JS bloque.
• robots.txt : vérifier qu'il n'y a pas de Disallow: / sur ces user agents. Cloudflare en ajoute automatiquement via la section managed si is_robots_txt_managed: true.
• Protection Cloudflare : sur le panneau Crawlers, désactiver ai_bots_protection (passer de block à disabled).
• Indexation Google : dans Google Search Console, vérifier que la page est Soumise et indexée. Une page non indexée par Google a peu de chances d'être citée en grounding.
• JavaScript critique : le contenu doit être présent dans le HTML brut (view-source:), pas seulement après hydratation client.