# EDIVIA — Politique d'exploration (robots.txt)
# Site officiel : https://edivia.fr
# Contact : contact@edivia.fr
# Dernière mise à jour : 4 août 2026 (v3 — ajout Content Signals)
#
# EDIVIA autorise expressément l'indexation par les moteurs de recherche
# ET par les agents génératifs (LLM, moteurs de réponse, Answer Engines)
# à des fins de citation, de résumé et de référencement.
#
# Cette autorisation est cohérente avec la mission d'EDIVIA :
# rendre visible et accessible la donnée publique française via l'IA.
# ------------------------------------------------------------------

# ------------------------------------------------------------------
# Content Signals (spec IETF — contentsignals.org)
# Autorise explicitement les 3 usages IA : entraînement, recherche, input agent.
# ------------------------------------------------------------------
Content-Signal: search=yes, ai-train=yes, ai-input=yes

# Règle générale — tout le monde a le droit d'explorer
User-agent: *
Allow: /

# ------------------------------------------------------------------
# Moteurs génératifs / LLM — accès nommément autorisé
# Sources : docs officielles éditeurs + veille août 2026.
# ------------------------------------------------------------------

# OpenAI — 3 bots distincts (training / navigation live / search)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude) — nouveau framework à 3 bots publié en 2026 :
#  - ClaudeBot       : training
#  - Claude-User     : fetch live pendant une conversation
#  - Claude-SearchBot: index du moteur de recherche Claude
# NB : les anciens "anthropic-ai" et "Claude-Web" sont DÉPRÉCIÉS
# et ne sont plus listés ici.
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Google — signal explicite pour Gemini / AI Overviews
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

# Perplexity — 2 bots (index + fetch live)
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Mistral AI (Le Chat / Vibe) — 2 bots (fetch live + index)
User-agent: MistralAI-User
Allow: /

User-agent: MistralAI-Index
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Meta AI — 3 variantes
User-agent: FacebookBot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# DuckDuckGo AI (DuckAssist)
User-agent: DuckAssistBot
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

User-agent: cohere-training-data-crawler
Allow: /

# Common Crawl (source d'entraînement majeure — GPT, Llama, Mistral, etc.)
User-agent: CCBot
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Amazon (Alexa+ / Rufus / Nova)
User-agent: Amazonbot
Allow: /

# ByteDance (Doubao / TikTok Search)
User-agent: Bytespider
Allow: /

# Diffbot (base de connaissances utilisée par plusieurs LLM)
User-agent: Diffbot
Allow: /

# Omgili (indexeur repris par plusieurs corpus IA)
User-agent: omgili
Allow: /

# ------------------------------------------------------------------
# Ressources d'indexation
# ------------------------------------------------------------------
Sitemap: https://edivia.fr/sitemap-index.xml