Baiduspider抓取到底是怎么回事

2016-09-04 20:44 阅读 19 views 次 评论 0 条

我们总是在谈排名的问题,其实搜索引擎给到一个关键词排名是有一套完成的程序的,而抓取是第一步。那Baiduspider抓取到底是怎么回事呢?

Baiduspider抓取网站

Baiduspider指的就是百度搜索引擎的抓取程序,它的任务就是顺着链接不断的抓取互联网上自己还没有收录过的或更新的页面或链接,然后将抓取到的信息存储在自己的网页数据库中。而抓取的页面将有机会展示在网页搜索结果中。如果你的网站产生了一个新的内容,想要参与关键词排名,那么我们就需要尽快让Baiduspider来抓取。

加快Baiduspider抓取内容方法

1、利用百度站长工具中的链接提交工具(关于百度站长工具链接提交方式可以参考本博邦优SEO文章《如何选择百度链接提交方式》)

百度站长工具链接提交

2、外部链接,我们可以在一些Baiduspider经常光顾的网站上面发布链接,比如百度自己的产品,百度贴吧、百度知道等,还有一些收录较好的平台如新浪、搜狐、凤凰网等

如果想要Baiduspider定期来我们的网站抓取的话,需要我们定时发布一些“新鲜”优质的内容,让它来我们的网站变成习惯。

 

影响Baiduspider抓取的因素

为了提高Baiduspider抓取的效率,对于一些影响抓取的因素我们是要尽量去避免的。常见影响因素:

1、网址太长

百度建议的网址的长度是不超过256个字节,一个英文字母占1个字节(不区分大小写),一个中文字占两个字节。

2、网址中尽量不要包含中文,虽然Baiduspider可以识别中文,但是效率的话还是要比英文的低

3、服务器不稳定,服务器不稳定容易导致页面打不开,从而影响抓取

4、Robots.txt屏蔽  很多站长在做网站或者改版的时候,为了多获得一些上线的时间,会在线操作,防止一些没用的信息被抓取会屏蔽Baiduspider,这会大大影响网站的收录。建议可以使用百度站长工具里面的闭站保护工具

5、避免出现Baiduspider难以解析的字符

6、注意动态参数不要太复杂,尽量使用静态吧。虽然Baiduspider目前的技术处理动态和静态差别不是很大,但是如果动态的参数太多且复杂的话,可能会被Baiduspider认为不重要而抛弃

7、网站死链过多 Baiduspider来抓取网站内容,发现都是无法达到的链接的话,是非常影响抓取的(关于网站死链的问题可以参考本博邦优SEO文章《死链对网站有什么影响?我们该怎么应对好》)

 

如何知道Baiduspider来过我们的网站

通常我们可以使用两种方式来查看

1、百度站长工具中的抓取频次,我们可以知道Baiduspider每天来我们的网站抓取了多少次

Baiduspider抓取频次

2、分析IIS日志

通过分析IIS日志,我们可以知道Baiduspider什么时候来的网站,抓取了哪些页面。这里注意要分清真假Baiduspider,可以通过IP反查

 

总结:

Baiduspider是百度搜索引擎的抓取程序,只有尽量排除影响抓取的因素,提高抓取效率甚至于让其养成定期来我们网站抓取的习惯是非常有必要的。

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:Baiduspider抓取到底是怎么回事 | 武汉SEO
分类:SEO技术 标签:

发表评论


表情