使用步骤
- 填写 User-agent，默认 `*` 表示所有爬虫。
- 按行配置 Allow 和 Disallow 路径。
- 复制结果到站点根目录的 robots.txt 并上线验证。
SEO工具
robots.txt 生成器
生成常用 robots.txt 规则，包含 User-agent、Allow、Disallow 和 Sitemap。
本地简单运行
使用指南
开始使用
填写爬虫、允许路径、禁止路径和 sitemap 地址后生成 robots.txt，适合站点上线前配置基础爬取规则。
使用例子
- 禁止爬取 /admin 和 /api。
- 为站点添加 sitemap.xml 地址。
Loading
robots.txt 生成器
工具组件加载中。