robotstxt怎样查看网站robots.txt内容

scrapy 怎么设定setting改变robotstxt

robots.txt 文件是搜索引擎的口令牌，因此设计要相当谨慎，有很多细节我们需要注意的，如果我们没有注意这些细节，后果无法估计。

robots.txt文件是搜索引擎 进入我们的站点后首先访问的文件，现在我们就来看看设置robots文件该注意哪些。

　　错误一：Allow与disallow顺序颠倒　　首先我们来看 一段robots.txt语句：　　User-agent: *　　Allow: /　　Disallow: /abcd/　　这段语句初看我们可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取，但是其他所有的页面可以。

但是这段语句的实际效果如何 呢?效果是背道而驰的，为什么呢?我们知道搜索引擎蜘蛛对于robots文件中的规则的执行是从上到下的。

这将会造成Disallow语句失效，正确的做 法，是要把Disallow: /abcd/置于Allow: /前才能发挥我们想要的效果。

　　错误二：屏蔽某一个页面时，页面名前没有带上斜杠“/”　　我想这一点很多站长也很容易忽视掉，打个比方，我们想要对搜 索引擎屏蔽在根目录下的abcd.html这一页面，有的人在robots上可能会这么写：Disallow: abcd.html，表面上看可能没什么问题，但是笔者想要问一下你先告知搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话，搜索引擎蜘蛛无法 识别是在哪一个页面。

正确的写法是：Disallow: /abcd.html，这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。

　　错误三：屏蔽的后面没有跟上斜杠“/”　　同样举个例子，比 如我们想屏蔽/abcd/这一目录下面的页面，有的人可能会这样写Disallow: /abcd。

这样写是否有问题呢?这样写依然有问题，而且问题很大条。

这样虽然可以屏蔽掉/abcd/这一目录下面的所有页面。

但是这也会传递给搜索引擎 这样的信息，那就是屏蔽开头为/abcd的所有页面。

效果等同于是Disallow: /abcd’*。

这个错误将会给站点照成很大的影响。

正确的做法是，在想要屏蔽的目录后面切记需要加上斜杠“/”。

robots.txt有什么作用

当一个搜索机器人访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

对于有些页面没必要让搜素引擎抓去 比如 联系方式， 登陆界面 评论界面...

robots.txt是什么

用于通过Robots.txt文件来告诉搜索引擎禁止抓起取些内容或指定允许抓取某些内容。

robots.txt是放在网站的根目录下，搜索引擎蛛蛛来到你的网站来抓取首先第一就要查找你网站的根目录有没有这个robots.txt文件，蛛蛛会对你根目录robots.txt规则知道你网站那些内容可以抓取那些。

什么是robots.txt?检查robots.tx有什么作用吗？

robots.txt文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的什么文件是不允许查看的。

举一个简单的例子：当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面

怎样查看网站robots.txt内容

robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。

robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录 如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可