Nginx 日志如何判断蜘蛛抓取质量
蜘蛛来不来只是第一步，更重要的是它抓了哪些页面、返回什么状态码、是否持续进入有效内容。
看 URL 分布
有效抓取应从首页扩展到 /news/、/topic/、文章页和 sitemap。若长期只抓 /robots.txt，说明内容入口还没有被建立。
看状态码
200 越多越好，403 应只出现在 seo_status.php 这类内部观察页，404 和 5xx 要尽快处理。
看频次变化
新站初期蜘蛛频次低正常，连续几天有稳定抓取才是好信号。突然下降要检查服务器、SSL 和 robots。
看热门 URL
热门 URL 应逐步从首页扩展到文章页。如果热门 URL 全是系统页，说明内链需要调整。