如何不让蜘蛛抓取重复的页面？

要避免搜索引擎蜘蛛抓取重复页面，一个有效的方法是不在网站中提供这些页面的链接入口，从而减少蜘蛛的抓取频率。此外，通过减少这些页面的内容更新频率，也能有效降低蜘蛛的抓取次数。

大家之所以问到如何不让蜘蛛抓取重复的页面，其目的是想把这些抓取份额转移到其他的页面上，促进其他的页面收录。但是，有两个问题大家首先要搞清楚：

一、为什么蜘蛛喜欢重复抓取这些重复的页面

1、页面内容质量高

对于质量高的页面，搜索引擎更喜欢去抓取！如果蜘蛛喜欢抓取这些页面，在某种程度上说，搜索引擎对页面的内容是比较认可的，我们可以重点去分析其中的原因。

2、页面内容更新频繁

页面内容的更新程度，也会影响到蜘蛛抓取。大家可以去看看那些被频繁抓取的页面，很多更新会比较频繁。