使用百度蜘蛛referer找到错误页面的入口

百度蜘蛛是什么？referer百度蜘蛛的referer，指百度蜘蛛抓取某一个URL的时候，在HTTP头中带的Referer字段。请注意，这个定义和百度最近的声明被删除了Referer中关键词数据无关。这次讲的是spider发起的HTTP百度删除了用户发起的请求。如果百度蜘蛛抓取百度首页，logo，以上请求将发起:Referer字段清楚地表明他是从.baidu.在这个页面上发现并抓取了它.baidu./img/bd_logo1.png。您还应该在服务器访问日志中看到相应的记录。目前发现只有百度在抓取一个网页的同时，才在网页上抓取:img、js和css才会带上referer字段。这部分额外的抓取量不应占用百度分配的抓取配额，属于买1送1。如果你发现有一批站长的意义URL（于img,js,css）报错（4xx或者5xx），但是你找不到入口在哪里，也就是说你不明白百度蜘蛛在哪里发现这些错误URL的。这个字段可以帮助你快速定位。比如我们的seo可以在日志分析系统中看到，符合以下要求URL Pattern每天抓取6万到10万的路径，全部报404。发现问题已经一个月了，查遍整个网站也没找到入口。偶然仔细查了一下日志，想起了百度蜘蛛referer，问题可以立即定位。这些404的URL来自一套没有人维护或关注的页面(通常是这样)。收录流量都不错。由于公司图片系统的更新，图片URL所有更改，但页面没有更新。假如网站没有记录referer怎么办iis请在这里勾选cs(Referer)转自:百度站长平台刘明推荐阅读国内阅读SEO英雄榜，看你是不是榜上有名？ 文军营销《利用百度蜘蛛referer找到报错页面入口 飞鹰正义 描述:百度站长社区超级版主。ID:飞鹰正义，有一段斗志昂扬的红客史，擅长windows下攻防,是国内较早的百度seo人，低调帅气，现任中国服装网SEO负责人。 相关文章(可在站长学院找到):...