# ============================================
# 广西盛汇芯网络科技有限公司 - robots.txt
# 最后更新: 2026-09-30
# 说明: 配置搜索引擎和AI爬虫的抓取规则
# ============================================

# ---------- 一、通用搜索引擎爬虫（允许全部） ----------
User-agent: *
Allow: /

# 网站地图
Sitemap: https://www.gxshx.com/sitemap.xml

# ---------- 二、AI搜索引擎爬虫（显式允许，提升优先级） ----------

# 字节跳动 - 豆包（国内最大AI搜索流量入口）
User-agent: Bytespider
Allow: /
Crawl-delay: 1

# 百度 - 文心一言 / 文心大模型
User-agent: BaiduSpider
Allow: /

# 百度 - ERNIE Bot AI爬虫
User-agent: ERNIEBot
Allow: /

# 月之暗面 - Kimi（文档问答场景强）
User-agent: MoonshotBot
Allow: /

# 阿里 - 通义千问 / 通义AI搜索
User-agent: TongyiBot
Allow: /

# 深度求索 - DeepSeek（程序员/专业用户群）
User-agent: DeepSeekBot
Allow: /

# 商汤 - 商量SenseChat
User-agent: SenseBot
Allow: /

# 智谱 - ChatGLM / 智谱清言
User-agent: ZhipuBot
Allow: /

# OpenAI - ChatGPT / GPT系列（国际流量）
User-agent: GPTBot
Allow: /

# OpenAI - ChatGPT-User（插件/浏览模式）
User-agent: ChatGPT-User
Allow: /

# Perplexity（AI搜索标杆产品）
User-agent: PerplexityBot
Allow: /

# Google - Gemini / 谷歌AI搜索
User-agent: Google-Extended
Allow: /

# Claude - Anthropic
User-agent: ClaudeBot
Allow: /

# 360 - 360智脑 / 360AI搜索
User-agent: 360Spider
Allow: /

# 必应 - Bing / Copilot
User-agent: bingbot
Allow: /

# ---------- 三、禁止抓取的内容（根据实际情况调整） ----------

# 后台管理路径
User-agent: *
Disallow: /admin/
Disallow: /manage/
Disallow: /backend/

# 用户隐私相关
User-agent: *
Disallow: /user/
Disallow: /member/
Disallow: /my/

# 搜索结果页
User-agent: *
Disallow: /search/
Disallow: /?s=

# 接口路径
User-agent: *
Disallow: /api/
Disallow: /ajax/

# ---------- 四、安全相关 ----------

# 禁止常见恶意爬虫
User-agent: Scrapy
Disallow: /

User-agent: wget
Disallow: /

User-agent: curl
Disallow: /