baiduspider百度蜘蛛Baiduspider-image，老是抓取已经删除了的图片，并返回404，或301，请教高手怎么办？！！！

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/是允许还是拒绝？

禁止除百度以外的所有蜘蛛！ User-agent: Baiduspider Disallow: User-agent: * Disallow: /

robots是什么意思？

robots “机器人”， 在网站优化领域即搜索引擎机器人，搜索引擎是根据自定的算法自动抓取网站、网页的，而负责这个任务的就是这个各个搜索引擎的robots。

eg：Google网络蜘蛛的标识为GoogleBot，Baidu网络蜘蛛的标识为BaiDuSpider， Yahoo网络蜘蛛的标识为Inktomi Slurp

BaiDuSpider 102+2 3.29 M字节 中的102+2是什么意思

是说102是正常的浏览器流量，那+2的是非浏览器。

不包括在内。

但是你又去浏览。

就说下是102.+2

百度蜘蛛Baiduspider-image，老是抓取已经删除了的图片，并返回404，或301，请教高手怎么办？！！！

先把不存在的图片链接记录下来，再到百度站长工具后台提交死链接。

百度站长平台有非常详细的提示说明，你应该去看看。

其次，将某一种格式的图片禁止抓取，比如你测试时用的是jpg的，那么就在robots文件里面禁止抓取图片后缀为jpg的。

不让搜索引擎抓取图片并没有不好的地方，抓取图片是浪费自己的空间带宽。

一个图片多的网站，蜘蛛抓取多了，会浪费很多原来就不宽裕的带宽，不知道你为什么说不好？ 再者，测试网站时应该先屏蔽搜索引擎索引与收录网页，但你可能没做到位。