【SEO教程】seo基础robots写法及robots高级玩法!

什么是robots?

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索来爬行网站时候,SEO教程陶水水会先看网站里有没有robots这个文件,如果有这个文件,会按照robots文件给的爬行规则进行网站的爬取。

 

robots写法
  为什么要用robots?

网站为了seo网站优化肯定会有部分页面不想被搜索抓取和收录,如“联系我们”“广告合作”这时就会用到robots,来屏蔽搜索的爬取和收录。

robots的基本写法

1、允许所有搜索引擎访问

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

注意,可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

2、禁止所有搜索引擎访问

User-agent: *

Disallow: /

或者

User-agent: *

allow:

3、禁止所有搜索引擎访问网站中的几个部分,在这里我用a、b、c目录来代替

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

如果是允许,则是

Allow: /a/

Allow: /b/

Allow: /c/

4、禁止某个搜索引擎的访问,我用w来代替

User-agent: w

Disallow: /

User-agent: w

Disallow: /d/*.htm

在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

5、只允许某个搜索引擎的访问,我用e来代替

User-agent: e

Disallow:

在Disallow:后面不加任何东西,意思是仅允许e访问该网站。

6、使用”$”限制访问url

User-agent: *

Allow: .htm$

Disallow: /

意思是仅允许访问以”.htm”为后缀的URL

7、禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

8、禁止搜索引擎F抓取网站上所有图片

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

9、只允许搜索引擎E抓取网页和.gif格式图片

User-agent: E

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

针对seo的robots高级写法

顶级seo高手robots.txt的写法

robots使用时的注意点

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

针对新手使用robots

百度站长平台刚升级了robots

 

robots写法
  可以检测你自己制作的robots规则是否能生效。SEO教程当然基本的robots写法你要懂,

这样只需掌握robots的基础写法,就能写出高级robots。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  1   博主  0

  1. 增大网 1

    增大壮阳、丰乳缩阴、泡妞把妹,价值十万资料无限下。

    逆向推荐,上线替下线赚钱,什么不用干,坐收二百万。

    增大网:

    111.zhuan.in