免费诊断
首页 工具 Robots.txt 生成器

输入域名后，Sitemap URL 会自动填充

快速选择模板

允许所有爬虫

最宽松配置，所有爬虫均可访问

标准推荐

允许搜索引擎爬虫，屏蔽敏感目录

SEO + GEO 优化

允许搜索引擎和 AI 爬虫，屏蔽重复内容

屏蔽 AI 爬虫

允许搜索引擎，禁止 GPTBot、Claude 等 AI 爬虫

仅允许 AI 爬虫

允许 AI 爬虫发现内容，限制传统搜索引擎

禁止所有爬虫

完全屏蔽所有爬虫访问

自定义规则

User-agent
规则

使用说明

  1. 选择 User-agent（爬虫类型），如 Googlebot、GPTBot、Claude-Web 等
  2. 为每个爬虫添加 Allow（允许）或 Disallow（禁止）访问的路径规则
  3. （可选）填写 Sitemap URL 和 Crawl-delay 延迟设置
  4. 点击「生成」，将生成的内容保存为 robots.txt 并上传到网站根目录

为什么使用此工具？

Robots.txt 是控制搜索引擎和 AI 爬虫如何访问您网站的核心文件。正确配置 robots.txt 可以防止敏感页面被索引，同时确保重要内容对搜索引擎和 AI 模型可见。