爬虫社区开源爬虫框架各有什么优缺点

爬虫都可以干什么？

爬虫技术前景非常不错，搜狗 百度 字节跳动 这样的互联网公司都需要爬虫工程师啊，而且薪资非常不错。

Python、C++、PHP 这些编程语言都很火热啊，现在干什么不都需要爬虫啊。

数据采集、舆情分析、撰写行业报告、AI、自然语言处理 都需要大数据和爬虫啊 我觉得你可以亲自试试，感受一下爬虫的魅力，比如 前嗅的数据采集器就可以，百度直接搜就行

python网络爬虫可以干啥

Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

爬虫就是自动遍历一个网站的网页，并把内容都下载下来 网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。

搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。

但是，这些通用性搜索引擎也存在着一定的局限性，如： （1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。

聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。

与通用爬虫（general？purpose web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

python爬虫怎样赚外快

1）在校大学生。

最好是数学或计算机相关专业，编程能力还可以的话，稍微看一下爬虫知识，主要涉及一门语言的爬虫库、html解析、内容存储等，复杂的还需要了解URL排重、模拟登录、验证码识别、多线程、代理、移动端抓取等。

由于在校学生的工程经验比较少，建议只接一些少量数据抓取的项目，而不要去接一些监控类的项目、或大规模抓取的项目。

慢慢来，步子不要迈太大。

（2）在职人员。

如果你本身就是爬虫工程师，接私活很简单。

如果你不是，也不要紧。

只要是做IT的，稍微学习一下爬虫应该不难。

在职人员的优势是熟悉项目开发流程，工程经验丰富，能对一个任务的难度、时间、花费进行合理评估。

可以尝试去接一些大规模抓取任务、监控任务、移动端模拟登录并抓取任务等，收益想对可观一些。

渠道：淘宝、熟人介绍、猪八戒、csdn、发源地、QQ群等！ 扩展资料： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。

搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。

但是，这些通用性搜索引擎也存在着一定的局限性，如： (1)不同领域、不同背景的62616964757a686964616fe59b9ee7ad9431333365663537用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。

聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。

与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

1 聚焦爬虫工作原理以及关键技术概述 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题： (1) 对抓取目标的描述或定义； (2) 对网页或数据的分析与过滤； (3) 对URL的搜索策略。

开源爬虫框架各有什么优缺点

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector 3. 非JAVA单机爬虫：scrapy 第一类：分布式爬虫 爬虫使用分布式，主要是解决两个问题： 1）海量URL管理 2）网速 现在比较流行的分布式爬虫，是Apache的Nutch。

但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下： 1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。

Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。

对精抽取没有太大的意义。

也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。

而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。

如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。

可以看到一些开源的Nutch插件，提供精抽取的功能。

但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。

利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。

而且Nutch并没有为精抽取提供相应的插件挂载点。

Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。

大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。

了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。

调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。

很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。

并不是你要抽取的结构化数据。

其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。

官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。

如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。

而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。

但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。

而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。

有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。

Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。

如果非要用Nutch2的话，建议等到Nutch2.3发布再看。

目前的Nutch2是一个非常不稳定的版本。

第二类：JAVA单机爬虫 这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。

相关的资料也是最全的。

这里可能有争议，我只是随便扯淡。

其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。

包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。

网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。

没有任何难度可言。

之所以选择开源爬虫框架，就是为了省事。

比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。

用户比较关心的问题往往是： 1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？ 不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行http请求。

能不能爬js生成的信息和爬虫本身没有太大关系。

爬虫主要是负责遍历网站和下载页面。

爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器（htmlunit,selenium）来完成。

这些模拟浏览器，往往需要耗费很多的时间来处理一个页面。

所以一种策略就是，使用这些爬虫来遍历网站，遇到需要解析的页面，就将网页的相关信息提交给模拟浏览器，来完成JS生成信息的抽取。

2）爬虫可以爬取ajax信息么？ 网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。

如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。

如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？ 爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。

爬取ajax信息属于deep web（深网）的范畴，虽然大多数爬虫都不直接支持。

但是也可以通过一些方法来完成。

比如WebCollector使用广度遍历来遍历网站。

爬虫的第一轮爬取就是爬取种子集合（seeds）中的所有url。

简单来说，就是将生成的ajax请求作为种子，放入爬虫。

用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。

3）爬虫怎么爬取要登陆的网站？ 这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。

至于cookies怎么获取，不是爬虫管的事情。

你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。

4）爬虫怎么抽取网页的信息？ 开源爬虫一般都会集成网页抽取工具。

主要支持两种规范：CSS SELECTOR和XPATH。

至于哪个好，这里不评价。

5）爬虫怎么保存网页的信息？ 有一些爬虫，自带一个模块负责持久化。

比如webmagic，有一个模块叫pipeline。

通过简单地配置，可以将爬虫抽取到的信息，持久化到文件、数据库等。

还有一些爬虫，并没有直接给用户提供数据持久化的模块。

比如crawler4j和webcollector。

让用户自己在网页处理模块中添加提交数据库的操作。

至于使用pipeline这种模块好不好，就和操作数据库使用ORM好不好这个问题类似，取决于你的业务。

6）爬虫被网站封了怎么办？ 爬虫被网站封了，一般用多代理（随机代理）就可以解决。

但是这些开源爬虫一般没有直接支持随机代理的切换。

所以用户往往都需要自己将获取的代理，放到一个全局数组中，自己写一个代理随机获取（从数组中）的代码。

7）网页可以调用爬虫么？ 爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。

8）爬虫速度怎么样？ 单机开源爬虫的速度，基本都可以讲本机的网速用到极限。

爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。

而这些东西，往往都是用户的机器和二次开发的代码决定的。

这些开源爬虫的速度，都很可以。

9）明明代码写对了，爬不到数据，是不是爬虫有问题，换个爬虫能解决么？ 如果代码写对了，又爬不到数据，换其他爬虫也是一样爬不到。

遇到这种情况，要么是网站把你封了，要么是你爬的数据是javascript生成的。

爬不到数据通过换爬虫是不能解决的。

10）哪个爬虫可以判断网站是否爬完、那个爬虫可以根据主题进行爬取？ 爬虫无法判断网站是否爬完，只能尽可能覆盖。

至于根据主题爬取，爬虫之后把内容爬下来才知道是什么主题。

所以一般都是整个爬下来，然后再去筛选内容。

如果嫌爬的太泛，可以通过限制URL正则等方式，来缩小一下范围。

11）哪个爬虫的设计模式和构架比较好？ 设计模式纯属扯淡。

说软件设计模式好的，都是软件开发完，然后总结出几个设计模式。

设计模式对软件开发没有指导性作用。

用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。

至于构架，开源爬虫目前主要是细节的数据结构的设计，比如爬取线程池、任务队列，这些大家都能控制好。

爬虫的业务太简单，谈不上什么构架。

所以对于JAVA开源爬虫，我觉得，随便找一个用的顺手的就可以。

如果业务复杂，拿哪个爬虫来，都是要经过复杂的二次开发，才可以满足需求。

第三类：非JAVA单机爬虫 在非JAVA语言编写的爬虫中，有很多优秀的爬虫。

这里单独提取出来作为一类，并不是针对爬虫本身的质量进行讨论，而是针对larbin、scrapy这类爬虫，对开发成本的影响。

先说python爬虫，python可以用30行代码，完成JAVA 50行代码干的任务。

python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。

使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。

当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。

对于C++爬虫来说，学习成本会比较大。

而且不能只计算一个人的学习成本，如果软件需要团队开发或者交接，那就是很多人的学习成本了。

软件的调试也不是那么容易。

还有一些ruby、php的爬虫，这里不多评价。

的确有一些非常小型的数据采集任务，用ruby或者php很方便。

但是选择这些语言的开源爬虫，一方面要调研一下相关的生态圈，还有就是，这些开源爬虫可能会出一些你搜不到的BUG（用的人少、资料也少） End.