robots.txt 与 sitemap：搜索引擎抓取的入门配置

robots.txt 和 sitemap.xml 是网站与搜索引擎沟通的两份基础文件，配置错误会直接影响收录。十分钟就能配好。

robots.txt：抓取守门员

放在网站根目录，声明哪些路径允许抓取。基础写法：User-agent 设为星号，Disallow 列出后台与缓存目录，最后加一行 Sitemap 指向站点地图地址。

常见错误：测试后忘记恢复全站放行；误封 CSS 与 JS 目录导致搜索引擎无法正确渲染页面。

sitemap.xml：站点地图

列出全站希望被收录的 URL。内容型 CMS 通常自带生成功能或插件，注意每次发布新内容后地图要更新；文件体积过大时按栏目拆分。

提交与验证

两份文件都配置好后，到各搜索引擎站长平台提交 sitemap 地址，并观察"抓取异常"报告。报告里出现的被拒 URL，通常就是 robots 规则或服务器状态的问题所在。