我来分享:爬虫程序只抓取首页处理办法 - 汇能之窗网
推广 热搜: SEO  广州  贷款  深圳  网站建设  医院  用户体验  贵金属  机器人   

我来分享:爬虫程序只抓取首页处理办法

   日期:2014-01-17 10:59:34     来源:互联网    作者:258信息网    浏览:4    
核心提示:经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解

 经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解答:

1、刚刚做好的网站

对于新新的网站,首页刚刚被收录,这时候网站的权重是极低的。就不要期望这么快收录内页了,这样的情况,是很正常的,一般最少过了一个月之后,其他的内页才会放出来。
制定一个详细的优化方案,定时更新,切记使用一些不正常的手法。

2、robots.txt文件、服务器限制

这是很多新手容易犯的错误,对robots.txt文件不是很了解,但是不设置又觉得自己降低了档次,所以就错误的填写,导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略:检查robots.txt文件和服务器是否有限制,自己看不懂可以找别人帮你。

3、网站的自身布局

网站布局是不是混乱,导航布局是不是混乱,导航不清楚,主页有没有足够的链接指向内页。

处理策略:收拾网站导航,理顺布局,让网站导航更清晰明了,调用内页关键词到主页,增多一种“最新作品”、“作品引荐”等版块,添加内页入口。

4、网站内容质量和更新频率

网站内容质量应该是所有因素里面最重要的一个,也是收录不充分常见的缘由。试想一篇自己都看不下去的文章,百度又怎么会有所青睐呢?互联网发展到现在,已经是粘贴复制,抄袭山寨横行。百度为了提供良好的用户体验,对于复制抄袭的内容,坚持不收录的准则。同时网站的更新是不是具有规律性也非常重要。SEO管家中间:我们把百度蜘蛛比喻成一个人,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。那么爬虫程序根本就不想再来了。


解决策略:坚持有质量、有数量的定期更新网站内容,当然针对不同的行业更新的频率也不仅相同。

总结:一般新网站权重太低,出现这种情况很正常,老网站出现这种情况很可能是网站布局不合理。针对以上提出的几点现象,逐一排除,自会找出问题的根源。
 
免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。 汇能之窗网对此不承担任何保证责任, 汇能之窗网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。

本文地址:http://www.wlchinahn.com/news/SEOyouhua/201401/1538.html

打赏
 
更多>同类资讯

推荐图文
推荐资讯
点击排行

网站首页  |  付款方式  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  积分换礼  |  RSS订阅  |  违规举报  |  粤ICP备11090451号

免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,汇能之窗网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。