robotstxt网站robots.txt怎么写

robots.txt只写allow的区别问题

robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。

拿个robots .txt语法的例子 ： （1）搜索引擎可以访问/www/seo的文件夹或者URL User-agent: * Allow : /www/seo Disallow : /www/ （2）顺序改变后 User-agent: * Disallow : /www/ Allow : /www/seo 这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。

robots .txt几个语法 命令 解释 ： 1> User-agent: *【定义搜索引擎。

一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。

比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot】 2> Disallow 【禁止爬取】 3> Allow 【允许】 4> $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件，不管它前面是什么样子】 5> * 【0或多个任意字符。

Disallow: *?* 这个是屏蔽所有带“?”的文件，可以这样屏蔽所有的动态路径】 总结来说就是robots.txt 这个文件里语法的顺序是从上到下匹配 ，先允许后禁止。

另外注意：User-agent，Allow，Disallow的“:”后面有一个字符的空格。

网站robots.txt怎么写

直接在浏览器里面输入robots.txt。

上面会有详细的介绍如： 允许所有的robot访问 User-agent: * Disallow: 或者也可以建一个空文件 "/robots.txt" file 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录） User-agent: * Disallow: /01/ Disallow: /02/ Disallow: /03/ 禁止某个搜索引擎的访问（下例中的BadBot） User-agent: BadBot Disallow: / 只允许某个搜索引擎的访问（下例中的Crawler） User-agent: Crawler Disallow: User-agent: * Disallow: /