scrapy如何在eclipse中使用scrapy

scrapy  时间:2021-01-09  阅读:()

现在python爬虫用scrapy框架多吗?我安了好多次都安不上

展开全部 一般吧,爬虫的框架还是很多的,python的就有好几个,其他语言的更多。

各有各的特点,scrapy是基于事件驱动框架twisted的。

安装python的包,一般使用包管理工具pip,你可以先安装pip,之后直接 pip install scrapy就安装好了,非常方便。

我的博客:

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的Python项目即可,此时查看项目目录,目录项只有两个工程文件。

此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

怎样在anaconda中使用scrapy

scapy安装的错误有几种类型。

因为网络限制,你无法自动下载依赖的库 因为版本冲突问题,导致你安装scapy时无法完成安装,或者是安装无法正确使用 因为编译的位数不同64位和32位不同,导致的问题 解决办法: 简单的解决办法。

如果scrapy对你很重要。

重新安装一套python2.7然后从头安装scrapy,可以从pypi网站上下载。

也可以从unofficial来源,一口气安装好的包。

耐心的解决办法。

把scrapy的源码拿过来,执行python setup.py install,遇到哪个包不好用,就替换掉。

办法是将那个包的源代码拿过来,先删除site-packages里的相应包,再手工执行python setup.py install。

要有心理准备,很可能需要vc++ 2010的编译器。

最简单的办法,使用pip install scrapy。

如果你是在ubuntu下面apt-get install python-scrapy就搞定了。

怎么将scrapy开发的爬虫程序打包

Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便,并且官网上说已经在实际生产中在使用了,不过现在还没有 Release 版本,可以直接使用他们的 Mercurial 仓库里抓取源码进行安装。

Scrapy 使用 Twisted 这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。

scrapy执行哪个spider

假设某个Scrapy工程目录为X_Spider Shell中执行 cd X_Spider&&scrapy list可查看可用蜘蛛列表 假设列表中有一蜘蛛名为Spider_x 则在shell中 scrapy crawl Spider_x运行该蜘蛛, 也可以直接对Spider_x.py文档使用 scrapy runspider命令

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的python项目即可,此时查看项目目录,目录项只有两个工程文件。

<img data-rawheight="52" data-rawwidth="131" src="/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131"> 此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

此时如果运行这个项目会报错如图: <img data-rawheight="507" data-rawwidth="419" src="/003efc0f452637a1560ba73b1e0741b4_b.jpg" class="content_image" width="419"> 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: <img data-rawheight="283" data-rawwidth="599" src="/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg"> 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

UCloud云服务器低至年59元

最近我们是不是在讨论较多的是关于K12教育的问题,培训机构由于资本的介入确实让家长更为焦虑,对于这样的整改我们还是很支持的。实际上,在云服务器市场中,我们也看到内卷和资本的力量,各大云服务商竞争也是相当激烈,更不用说个人和小公司服务商日子确实不好过。今天有看到UCloud发布的夏季促销活动,直接提前和双十一保价挂钩。这就是说,人家直接在暑假的时候就上线双十一的活动。早年的双十一活动会提前一周到十天...

旅途云(¥48 / 月),雅安高防4核4G、洛阳BGP 2核2G

公司成立于2007年,是国内领先的互联网业务平台服务提供商。公司专注为用户提供低价高性能云计算产品,致力于云计算应用的易用性开发,并引导云计算在国内普及。目前,旅途云公司研发以及运营云服务基础设施服务平台(IaaS),面向全球客户提供基于云计算的IT解决方案与客户服务,拥有丰富的国内BGP、双线高防、香港等优质的IDC资源。点击进入:旅途云官方网商家LOGO优惠方案:CPU内存硬盘带宽/流量/防御...

PQ.hosting:香港HE/乌克兰/俄罗斯/荷兰/摩尔多瓦/德国/斯洛伐克/捷克vps,2核/2GB内存/30GB NVMe空间,€3/月

PQ.hosting怎么样?PQ.hosting是一家俄罗斯商家,正规公司,主要提供KVM VPS和独立服务器,VPS数据中心有香港HE、俄罗斯莫斯科DataPro、乌克兰VOLIA、拉脱维亚、荷兰Serverius、摩尔多瓦Alexhost、德国等。部分配置有变化,同时开通Paypal付款。香港、乌克兰、德国、斯洛伐克、捷克等为NVMe硬盘。香港为HE线路,三网绕美(不太建议香港)。免费支持wi...

scrapy为你推荐
316不锈钢和304哪个好304跟316的不锈钢材质有什么区别集成显卡和独立显卡哪个好集成显卡和独立显卡的区别?哪个更好?手动挡和自动挡哪个好自动挡手动挡哪个好?手机杀毒软件哪个好手机安全杀毒软件哪个比较好些?网页传奇哪个好玩传奇网页游戏哪个好玩的最新相关信息核芯显卡与独立显卡哪个好核芯显卡和独立显卡哪个好?请直接点谢谢啦!红茶和绿茶哪个好红茶和绿茶哪个更好?清理手机垃圾软件哪个好手机垃圾清理软件哪个好牡丹江教育云空间登录云端学习如何登录?飞信空间登录飞信客户端空间登录 飞信绿色版历史记录
虚拟主机价格 备案域名查询 哈尔滨服务器租用 域名备案信息查询 arvixe awardspace mediafire iisphpmysql 外国域名 轻博 typecho 搜狗12306抢票助手 主机合租 云全民 e蜗 我爱水煮鱼 linux空间 什么是刀片服务器 阿里校园 中国电信测速网 更多