当大量爬虫进入了你的网站,该怎么办?

我发现在一段时间里有大量的爬虫进入我的网站,这有什么影响,这种行为会降低我网站的权重吗?会驱逐高质量的百度蜘蛛吗?我百度发现恶意爬虫会增加流量,增加网站负担。如果是,我该怎么应对?

假设你说的是非搜索引擎的恶意蜘蛛/爬虫,来采集内容之类的。

有大量恶意蜘蛛,对SEO没有直接影响,和搜索引擎眼里网站的权重一点关系都没有。搜索引擎并不会知道你网站上有没有恶意蜘蛛,也不会影响百度蜘蛛的抓取频率,完全没有关系。

当然,如果服务器不够强,或者恶意蜘蛛量太多,拖慢服务器,甚至页面打不开了,那肯定会影响真正搜索引擎的抓取。不过,其它任何因素导致的服务器响应慢,都会导致这个结果。

如果恶意蜘蛛数量在每天几万之内,服务器就出问题了,那说明需要换服务器了。如果超过这个量,可以屏蔽恶意蜘蛛(如果你确认是恶意的话)。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: