影视站 robots.txt 如何屏蔽无效页面
robots.txt 的目标不是把蜘蛛挡在门外，而是减少无效抓取，把蜘蛛预算留给首页、栏目页、文章页和未来的影视详情页。
应该屏蔽的路径
统计页、后台入口、临时测试页、重复参数页、搜索结果页都应屏蔽。例如 /seo_status.php 只给站长观察，不给蜘蛛抓取。
应该开放的路径
首页、/news/、/topic/、真实文章页、sitemap.xml 都应该保持可访问。列表页是蜘蛛发现内容的关键路径。
不要屏蔽静态资源
CSS 和 JS 不建议随意屏蔽，搜索引擎需要渲染页面结构判断移动端体验。
配合 sitemap
robots 文件底部应声明 sitemap 地址，便于搜索引擎快速发现 URL 集合。