# ==========================================
# IAIGEO.COM - Robots Configuration for Global GEO & SEO
# ==========================================

User-agent: *
Allow: /
Allow: /llms.txt
Allow: /md/                         # 允许所有爬虫访问你的 Markdown 知识库文件夹
Allow: /images/iaigeo-overview.png
Disallow: /audit-form.html

# ------------------------------------------
# 核心顶流 AI 大模型爬虫（DeepSeek）
# ------------------------------------------

# DeepSeek - 深度求索
User-agent: DeepSeekBot
Allow: /md/
Allow: /llms.txt

# ------------------------------------------
# 国内主流 AI 大模型爬虫（豆包 / 文心 / 千问）
# ------------------------------------------

# 字节跳动 - 豆包大模型
User-agent: DoubaoBot
Allow: /md/
Allow: /llms.txt

# 百度 - 文心一言
User-agent: Baiduspider-Analyse
Allow: /md/
Allow: /llms.txt

# 阿里云 - 通义千问
User-agent: AlibabaBot
Allow: /md/
Allow: /llms.txt

# ------------------------------------------
# 海外主流 AI 大模型爬虫
# ------------------------------------------

# OpenAI - ChatGPT
User-agent: GPTBot
Allow: /md/
Allow: /llms.txt

# Google - Gemini / AI Overviews
User-agent: Google-Extended
Allow: /md/
Allow: /llms.txt

# Anthropic - Claude
User-agent: Anthropic-ai
Allow: /md/
Allow: /llms.txt

# Perplexity - AI 搜索引擎
User-agent: PerplexityBot
Allow: /md/
Allow: /llms.txt

# 网站地图索引
Sitemap: https://www.iaigeo.com/sitemap.xml