搜索引擎蜘蛛抓取配额是什么?

黑帽SEO 2019-07-18 08:43

什么是引擎蜘蛛抓取份额?顾名思义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限对于网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面份额是由什么决定的呢?这牵扯到抓取需求和抓取速度限制需求抓取需求,,指的是搜索引擎“想”抓取特定网站多少页面二是库里页面是否太久没更新了说到底还是权重,权重高的页面就不会太久不更新权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取,抓取速度限制是搜索引擎“能”抓取的页面数份额是由什么决定的?抓取份额是考虑抓取需求和抓取速度限制两者之后的结果,也就是搜索引擎“想”抓,同时又“能”抓的页面数权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大小网站没必要担心份额小网站页面数少,即使网站权重再低,服务器再慢,每天搜索引擎蜘蛛抓取的再少,通常至少也能抓个几百页,十几天怎么也全站抓取一遍了,所以几千个页面的网站根本不用担心抓取份额的事数万页面的网站一般也不是什么大事每天几百个要是能拖慢服务器,就不是主要需要考虑的事了大中型网站需要考虑抓取份额几十万页以上的大中型网站,可能要考虑抓取份额够不够的问题份额不够,比如网站有千万页面,搜索引擎每天只能抓几万个页面,那么把网站抓一遍可能需要几个月,甚至一年,也可能意味着一些重要页面没办法被抓取,所以也就没排名,或者重要页面不能及时被更新要想页面被及时充分抓取,首先要保证服务器够快,页面够小如果有海量高质量数据,抓取份额将受限于抓取速度,提高页面速度直接提高抓取速度限制,因而提高抓取份额站长平台和都有抓取数据,像前面说的,能抓上百万页是一方面,搜索引擎想不想抓是另一方面网站另一个经常需要考虑抓取份额的原因是,不要把有限的抓取份额浪费在无意义的页面抓取上,导致应该被抓取的重要页面却没有机会被抓取抓取份额的典型页面有:大量过滤筛选页面这一点几年前关于无效爬行索引的帖子里有详细讨论内复制内容低质垃圾内容日历之类的无限个页面上面这些页面被大量抓取,可能用完抓取份额,该抓的页面却没抓节省抓取份额?当然首先是降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间,尽量避免上面列出的浪费抓取份额的东西有的是质量问题,有的是网站结构问题,如果是结构问题,最简单的办法是文件禁止抓取,但多少会浪费些页面权重,因为权重只进不出情况下使用链接属性可以节省抓取份额小,由于抓取份额用不完,加是没有意义的大,是可以在一定程度上控制权重流动和分配的,精心设计的会使无意义页面权重降低,提升重要页面权重在是会浪费权重的不能节省抓取份额搜索引擎要知道上有标签,就得先抓取这个页面,所以并不节省抓取份额和一样,搜索引擎要知道页面上有标签,就得先抓取这个页面,所以并不直接节省抓取份额有标签的页面被抓取频率经常会降低,所以会节省一点抓取份额速度和抓取份额不是排名因素没被抓取的页面也谈不上排名


上一篇:早期php网站建设如何开发
下一篇:新站应该如何做SEO优化