“抓取异常”搜索引擎蜘蛛不能爬行的原因
有些网页内容优质,用户也可以正常访问,单是搜索引擎知足却无法正常访问抓取,照成搜索结果覆盖率缺失,这对网站优化是一种损失。百度把这种情况叫做“抓取异常”对于大欸容无法正常抓取的网站。百度为认为该网站的用户体验度左右的不好,会降低对网站的评价,导致在抓取,索引,排序出现负面影响。最终会减少网站的百度流量获取数。那么常见“抓取异常”都有哪些原因呢?
1.服务器连接异常
1.1站点不稳定 让百度蜘蛛出现暂时无法链接的问题
1.2百度蜘蛛引擎一直无法连接网站的服务器
而以上的问题出现通常是网站服务器过大,超负荷运转,也哟可能是网站运行不正常 。须检测web服务器是否安装且正常云南行。并使用那浏览器检查主要页面能否正常访问。此外,网站和主机还可能会阻止百度搜素引擎蜘蛛的访问,只是需要检查网站和主机的防火墙。
2.网站运营商问题
需与网络运营商ianxi,购买双线服务的空间,或购买CDN服务
3.DNS异常
百度引擎蜘蛛无法解析网站的IP地址会出现DNS异常。可能是网站的IP地址错误或者域名服务商封禁的问题。可以用WHOIS或者host查询结果。如果不正确,需联系域名注册商,更新IP地址
4.IP的封禁 需要检查相关设置,是否添加了百度搜索引擎的IP地址。
5. UA封禁 需要查看User-agent的相关设置中是否有被百度搜索引擎的UA,并及时予以修改
6.死链 有协议死链和内容死链两种处理方式,其中建议使用协议死链。并且通过百度站长平台-死链功能根据体哦啊叫以便百度更快的发现死链,并删除
7.异常跳转 将网站请求重新指向其他文职即为跳转。对于长时间跳转到其他域名的情况,如网站更换域名,百度建议使用201跳转协议进行设置。
8.其他异常
8.1针对百度refeR的异常
8.2 针对百度Ua的异常
8.3 JS跳转异常
8.4 压力过大引起的偶然封禁