spidertxtrobots.txt文件中应该屏蔽哪些目录

spidertxt  时间:2021-01-07  阅读:()

robots.txt文件中应该屏蔽哪些目录

但是,你真的知道网站的robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处? 那下面带着这些疑问,笔者会进行详细的解答,希望对新手站长朋友们有所帮助,老鸟勿喷。

一、什么是robots.txt 笔者引用百度站长工具中后段话来解释。

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。

您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站有什么好处 1、快速增加网站权重和访问量; 2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度; 3、为搜索引擎提供一个简洁明了的索引环境 三、哪些网站的目录需要使用robots.txt文件禁止抓取 1)、图片目录 图片是构成网站的主要组成元素。

随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站,而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。

如果你非要用这种网站的话,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img; 2)、网站模板目录 如上面 图片目录 中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余,且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。

对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录,因此,应该进行模板目录的屏蔽。

通常模板目录的文件目录是:templets 3)、CSS、JS目录的屏蔽 CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。

所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。

为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。

CSS样式的目录通常情况下是:CSS 或者 style JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境; 4)、屏蔽双页面的内容 这里拿DEDECMS来举例吧。

大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。

这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。

这样做对搜索引擎友好性来说是有益无害的。

5)、模板缓存目录 很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。

不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。

很多使用CMS建站的朋友都没有注意到,必须要引起重视。

6)被删除的目录 死链过多,对搜索引擎优化来说,是致命的。

不能不引起站长的高度重视,。

在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值 或者 文件,而不应该是:URL,以防止搜索引擎返回200的状态码。

至于怎么设置,网上教程很多,大家要吧搜索一下) 这里有一个争议性的问题,关于网站后台管理目录是否需要进行屏蔽,其实这个可有可无。

在能保证网站安全的情况下,如果你的网站运营规模较小,就算网站管理目录出现在robots.txt文件中,也没有多大问题,这个我也见过很多网站这样设置的;但如果你的网站运营规模较大,竞争夺手过多,强烈建议千万别出现任何你网站后台管理目录的信息,以防被别有用心的人利用,损害你的利益;其实搜索引擎越来越智能,对于网站的管理目录还是能很好的识别,并放弃索引的。

另外,大家在做网站后台的时候,也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

最后,需要说明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这里并不是去屏蔽搜索引擎,而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。

新版本Apache HTTP Server 2.4.51发布更新(有安全漏洞建议升级)

今天中午的时候看到群里网友在讨论新版本的Apache HTTP Server 2.4.51发布且建议更新升级,如果有服务器在使用较早版本的话可能需要升级安全,这次的版本中涉及到安全漏洞的问题。Apache HTTP 中2.4.50的修复补丁CVE-2021-41773 修复不完整,导致新的漏洞CVE-2021-42013。攻击者可以使用由类似别名的指令配置将URL映射到目录外的文件的遍历攻击。这里...

HostKvm四月优惠:VPS主机全场八折,香港/美国洛杉矶机房$5.2/月起

HostKvm是一家成立于2013年的国外主机服务商,主要提供基于KVM架构的VPS主机,可选数据中心包括日本、新加坡、韩国、美国、中国香港等多个地区机房,均为国内直连或优化线路,延迟较低,适合建站或者远程办公等。本月商家针对全场VPS主机提供8折优惠码,优惠后美国洛杉矶VPS月付5.2美元起。下面列出几款不同机房VPS主机产品配置信息。套餐:美国US-Plan0CPU:1cores内存:1GB硬...

香港云服务器最便宜价格是多少钱一个月、一年?

香港云服务器最便宜价格是多少钱一个月/一年?无论香港云服务器推出什么类型的配置和活动,价格都会一直吸引我们,那么就来说说香港最便宜的云服务器类型和香港最低的云服务器价格吧。香港云服务器最便宜最低价的价格是多少?香港云服务器只是服务器中最受欢迎的产品。香港云服务器有多种配置类型,如1核1G、2核2G、2核4G、8到16核32G等。这些配置可以满足大多数用户的需求,无论是电商站、视频还是游戏、小说等。...

spidertxt为你推荐
qq空间首页现在QQ空间首页能做吗机械表和石英表哪个好机械表好还是石英表好,看专家如何分析绝地求生加速器哪个好玩绝地求生用什么加速器好啊?二手车网站哪个好想买台二手车,哪个二手车网站靠谱炒股软件哪个好什么炒股软件比较好用?手机管家哪个好手机管家哪个软件好播放器哪个好什么播放器好用云盘哪个好哪个网盘好用 而且下载速度快 还免费网通dns服务器地址湖北省鄂州市葛店镇DNS服务器IP地址是多少dns服务器什么意思DNS服务器是什么意思啊?是指路由器吗?
美国和欧洲vps securitycenter 服务器cpu性能排行 windows2003iso 速度云 美国堪萨斯 支付宝扫码领红包 支持外链的相册 ca187 七夕快乐英语 万网主机管理 网购分享 dnspod vul lamp架构 后门 国内空间 睿云 cdn加速 2016黑色星期五 更多