蜘蛛搜索引擎搜索引擎蜘蛛爬行的规律是什么？

在国内主要具有“蜘蛛”（Spider）程序搜索引擎有哪些？

所谓的蜘蛛程序就是收录的算法，每个搜索引擎都有各自的算法，而且时常会变得。

搜索引擎蜘蛛爬行规律探秘之一蜘蛛如何抓取链接

展开全部 当然我们也不是百度的也不是Google的，所以只能说探秘，而不是揭秘。

本文内容比较简单，只是给不知道的朋友一个分享的途径，高手和牛人请绕行吧。

　　传统意义上，我们感觉搜索引擎蜘蛛(spider)爬行，应该类似于真正的蜘蛛在蜘蛛网上爬行。

也就是比如百度蜘蛛找到一个链接，顺着这个链接爬行到一个页面，然后再顺着这个页面里面的链接继续爬这个类似于蜘蛛网，也类似于一棵大树。

这个理论虽然正确，但是不准确。

　　搜索引擎内部是有一个网址索引库的，所以搜索引擎蜘蛛是从搜索引擎的服务器出发，顺着搜索引擎已有的网址爬行一个网页，并将网页内容抓取回来。

页面采集回来之后，搜索引擎会对其进行分析，将内容和链接分开，内容暂时先不说。

分析出来链接之后，搜索引擎并不会马上去派蜘蛛进行抓取，而是把链接和锚文本记录下来交给网址索引库进行分析、对比和计算，最后放入网址索引库。

进入了网址索引库之后，才会有蜘蛛去抓取。

　　也就是如果出现了某个网页的外链，并不一定会立刻有蜘蛛去抓取这个页面，而是会有一个分析计算的过程。

即便是这个外链在蜘蛛抓取之后被删除了，这个链接也有可能已经被搜索引擎记录，以后还有抓取的可能。

怎样才能看到百度蜘蛛搜索引擎来过留的脚印啊

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件。

通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。

(摘自百度百科) 对于专业从事搜索引擎优化工作者而言，网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况，例如：哪个IP的百度蜘蛛机器人在哪天访问了网站多少次，访问了哪些页面，以及访问页面时返回的HTTP状态码。

百度的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在网站日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。

再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)，500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。

知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。

网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

搜索引擎蜘蛛爬行的规律是什么？

搜索引擎蜘蛛爬行规律如下： 第一、优质网站专门分配蜘蛛爬行，及时爬行，及时收录，及时放出供网民搜索； 第二、普通网站，分配一定的蜘蛛爬行资源，爬到一定量就不爬行了； 根据以上两种爬行原则，在配合两种爬行方法： 第一、横向爬行； 第二、纵向爬行； 网页爬行规则: 遵循F型爬行规则，从左到右，从商到下的原则爬行。