课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
如果大家比较关注网站优化的话应该发现了,近期的网站收录很多网站都在下降。今天我们就一起来了解一下这下降的原因都有哪些,下面我们先来聊聊什么是搜索引擎蜘蛛抓取份额?
顾名思义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。
抓取份额的英文Google用的是crawlbudget,直译是爬行预算,我觉得不太能说明是什么意思,所以用抓取份额表达这个概念。
抓取份额是由什么决定的呢?这牵扯到抓取需求和抓取速度限制。
抓取需求
抓取需求,crawldemand,指的是搜索引擎“想”抓取特定网站多少页面。
决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。
页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。
抓取速度限制
搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawlratelimit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。
服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。
所以,抓取速度限制是搜索引擎“能”抓取的页面数。
抓取份额是由什么决定的?
抓取份额是考虑抓取需求和抓取速度限制两者之后的结果,也就是搜索引擎“想”抓,同时又“能”抓的页面数。
网站权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!