百度蜘蛛抓取规律

（1）从百度蜘蛛下载回来的网页首先放置在补充数据区，经过各种程序计算后才放到检索区，从而形成稳定的排名。因此，只要下载回来的内容都可以通过指令检索到。补充数据是不稳定的，可能在计算过程中被删除。相对而言，检索区的数据排名更为稳定。目前，百度主要采用缓存机制和补充数据相结合的方式，但正在向补充数据转变。这也是目前百度收录困难的原因，也解释了为什么很多站点一会儿被删除，一会儿又会重新出现。

（2）在百度蜘蛛抓取页面时，采用深度优先和权重优先策略。百度蜘蛛从起始站点（即一些门户站点）进行广度优先抓取，旨在抓取更多网址。深度优先抓取则旨在获取高质量的网页。这两种策略由调度来计算和分配。百度蜘蛛负责抓取，而权重优先则是指反向连接较多的页面优先被抓取。一般情况下，网页抓取率在40%是正常范围，60%则属于良好。而100%是不可能的，当然抓取的越多越好。

（3）百度蜘蛛在从首页登陆后，会抓取首页并计算其中的所有连接，在计算后返回给百度蜘蛛进行下一步的抓取。网站地图的作用是为了为百度蜘蛛提供抓取方向，以便左右百度蜘蛛去抓取重要页面。如何让百度蜘蛛知道哪些页面是重要的呢？可以通过构建连接来实现。页面被更多页面指向，网站首页和副页面的指向等都能提高页面的权重。地图的另一个作用是为百度蜘蛛提供更多连接，以实现抓取更多页面的目的。地图本质上是一个连接列表，提供给百度蜘蛛，以便计算目录结构并通过站内连接找到重要页面。

百度蜘蛛收录网站规则

1、当然不是所有网站抓取了就马上会收录，需要经过搜索引擎的一个流程，这个流量主要分为抓取、筛选、对比、索引、释放。

2、筛选：筛选这个步骤主要是筛选出垃圾文章，比如伪原创、近义词替换、翻译等文章，搜索引擎都能够识别出来，而是通过这一步骤识别。

3、对比：对比主要是实行百度的星火计划，保持文章的原创度。通常情况下，经过对比的步骤的时候，搜索引擎会对你站点进行下载，一来对比，二来创建快照，所以搜索引擎蜘蛛已经访问你的网站，所以网站日志中会有百度的IP。

4、索引：通过确定你网站没有问题的时候，才会对你网站创建索引，如果创建索引了，这也说明你的站点被收录了，有时候我们在百度搜索还是不出来，可能原因是还没有被释放出来，需要等待。

Tag： 蜘蛛