搜索引擎频繁抓取导致网站挂掉

htaccess 时间:2021-01-11 阅读:()

从上周开始,我博客就经常出现了BadRequest(InvalidHostname)错误,询问网站服务器商只得知网站的并发过高,从而被服务器商限制网站访问.
可是我天天都会去看网站的流量统计,没有一点异常,怎么可能会并发过高后来我查看了一下网站的搜索引擎抓取网站的日志,发现每分钟都有大量的页面被搜索引擎抓取!
难怪网站的并发过高!
!

展开全文

搜索引擎频繁抓取导致网站挂掉相关文档

文件.htaccess文件设置的十六大技巧

目录详解Apache中.htaccess文件的功能写法

美国G口/香港CTG/美国T级超防云/湖北高防云服务器物理机促销活动六一云

六一云成立于2018年，归属于西安六一网络科技有限公司，是一家国内正规持有IDC ISP CDN IRCS电信经营许可证书的老牌商家。大陆持证公司受大陆各部门监管不好用支持退款退现，再也不怕被割韭菜了！主要业务有：国内高防云，美国高防云，美国cera大带宽，香港CTG,香港沙田CN2,海外站群服务，物理机，宿母鸡等,另外也诚招代理欢迎咨询。官网www.61cloud.net最新直销劲爆...

MOACK：韩国服务器/双E5-2450L/8GB内存/1T硬盘/10M不限流量,$59.00/月

Moack怎么样?Moack(蘑菇主机)是一家成立于2016年的商家，据说是国人和韩国合资开办的主机商家，目前主要销售独立服务器，机房位于韩国MOACK机房，网络接入了kt/lg/kinx三条线路，目前到中国大陆的速度非常好，国内Ping值平均在45MS左右，而且商家的套餐比较便宜，针对国人有很多活动。不过目前如果购买机器如需现场处理，由于COVID-19越来越严重，MOACK办公楼里的人也被感染...

Spinservers：美国独立服务器(圣何塞),$111/月

spinservers是Majestic Hosting Solutions，LLC旗下站点，主营美国独立服务器租用和Hybrid Dedicated等，spinservers这次提供的大硬盘、大内存服务器很多人很喜欢。TheServerStore自1994年以来，它是一家成熟的企业 IT 设备供应商，专门从事二手服务器和工作站业务，在德克萨斯州拥有40,000 平方英尺的仓库，库存中始终有数千台...

搜索引擎频繁抓取导致网站挂掉

美国G口/香港CTG/美国T级超防云/湖北高防云服务器物理机促销活动 六一云

MOACK：韩国服务器/双E5-2450L/8GB内存/1T硬盘/10M不限流量,$59.00/月

Spinservers：美国独立服务器(圣何塞),$111/月

美国G口/香港CTG/美国T级超防云/湖北高防云服务器物理机促销活动六一云