搜索引擎频繁抓取导致网站挂掉

htaccess 时间:2021-01-11 阅读:()

从上周开始,我博客就经常出现了BadRequest(InvalidHostname)错误,询问网站服务器商只得知网站的并发过高,从而被服务器商限制网站访问.
可是我天天都会去看网站的流量统计,没有一点异常,怎么可能会并发过高后来我查看了一下网站的搜索引擎抓取网站的日志,发现每分钟都有大量的页面被搜索引擎抓取!
难怪网站的并发过高!
!

展开全文

搜索引擎频繁抓取导致网站挂掉相关文档

文件.htaccess文件设置的十六大技巧

目录详解Apache中.htaccess文件的功能写法

HostKvm（$4.25/月）俄罗斯/香港高防VPS

HostKvm又上新了，这次上架了2个线路产品：俄罗斯和香港高防VPS，其中俄罗斯经测试电信CN2线路，而香港高防VPS提供30Gbps攻击防御。HostKvm是一家成立于2013年的国外主机服务商，主要提供基于KVM架构的VPS主机，可选数据中心包括日本、新加坡、韩国、美国、中国香港等多个地区机房，均为国内直连或优化线路，延迟较低，适合建站或者远程办公等。俄罗斯VPSCPU：1core内存：2G...

无视CC攻击CDN ,DDOS打不死高防CDN,免备案CDN,月付58元起

快快CDN主营业务为海外服务器无须备案，高防CDN，防劫持CDN，香港服务器，美国服务器，加速CDN，是一家综合性的主机服务商。美国高防服务器，1800DDOS防御，单机1800G DDOS防御，大陆直链 cn2线路，线路友好。快快CDN全球安全防护平台是一款集 DDOS 清洗、CC 指纹识别、WAF 防护为一体的外加全球加速的超强安全加速网络，为您的各类型业务保驾护航加速前进！价格都非常给力，需...

licloud：$39/月，香港物理服务器，30M带宽，e3-1230v3/16G内存/1T硬盘

licloud官方消息：当前对香港机房的接近100台物理机(香港服务器)进行打折处理，30Mbps带宽，低至不到40美元/月，速度快，性价比高，跑绝大多数项目都是绰绰有余了。该款香港服务器自带启动、关闭、一键重装功能，正常工作日内30~60分钟交货（不包括非工作日）。官方网站：https://licloud.io 特价香港物理服务器 CPU：e3-1230v2（4核心、8线程、3.3GH...