上海SEO-SEO高手怎么写大牛站的robots?

近几日有不少同学反应,他们看了很多大站,robots的写法也是各有不同,有的不知道为什么要这么写,这样写robots针对seo的意义在哪里?

今天上海seo陶水水小编分析2个站点,为大家详细解释,下面是干货时间:

seo视频教程:robots.txt写法

首先,咱们先看这个站点,他的robots写法是:

 

上海SEO
红框括起来的,一看就知道这个站点是dedecms搭建的。下面还有2个就是站长本人创建。重点说一下:

Disallow: /*?* 解释:url中只要包含了问号(“?”),那么将屏蔽蜘蛛的抓取

Disallow: /*list* 解释:url中只要包含了list字符(“list”),那么将屏蔽蜘蛛的抓取

详细解读:

第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对seo排名最好的。所以屏蔽带“?”的url是必须的。

第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽。

再来看一个大站,2345电影站,他的robots:

 

上海SEO
大站的一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

再扩展点讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说上海seo也是一个系统的工程。(成功之前,是要有准备、有铺垫。)

但是seo学习难吗,真的一点也不难。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: