抓取利用NUTCH来抓取网站数据并进行后期数据分析
利用NUTCH来抓取网站数据并进行后期数据分析
参会人员李凯、马继光、卢少锦、许雷
会议主题如何利用NUTCH来抓取网站数据并进行后期数据分析
会议发言摘要
李凯
利用NUTCH来抓取网站数据的优势在于我们可以把程序员的工作重心转移到后期的数据分析上边。并且工作不再受时间限制目前我们的大部分数据抓取只能在晚上进行因为NUTCH会把我们感兴趣的网站的内容全部镜像到本地。
可以充分利用NUTCH的分布式抓取的机制那么即使将来我们收录的网站到了另外一个数量级整个系统依然能正常运行。
如果我们能在今年年底以前把这套系统很流畅地运作起来我们在同类的网站当中已经是领先一大步了。
马继光
我们现在最紧迫的任务是要熟悉NUTCH的工作流程对它还处在认识阶段需要先利用它来抓取一些网站来测试一下。
卢少锦
我最关心的是数据抓取过来以后的读取如何完整再现他们的内容。计划研究Htmlparse来进行底层页面的抽取工作。
许雷
目前还处于探索阶段包括NUTCH本身是不是真的能将网站所有的数据都抓取下来、会不会丢失掉一些我们需要的比如产品类别信息、如何专门针对我们特别感兴趣的页面进行抓取都需要继续研究。另外现在的公司的程序员还没有特别精通JAVA的 因此JAVA的部分知识还需要进行学习。
下一步工作的计划
1李凯需要继续熟悉NUTCH的抓取流程包括NUTCH的重试机制分布式抓取。2马工学习一下JAVA的常见错误和报错信息还有JAVA中面向对象的基本概念。在下周五下午对程序员做一个讲座。同时尽快修复目前的空间余留的BUG。
3卢少锦在保证目前抓取工作进度的情况下研究Htmlpars e实现页面信息更方便的抽取。4许雷 研究如何把NUTCH抓取过来的页面缓存信息读取出来供信息抽取人员使用。5下周三下午两点的时候继续开会汇报目前的工作进度研究有关NUTCH的下一步开发计划。
6下周五下午三点开始由马工对程序员进行有关j ava开发的讲座。
大拿网技术部
2006-8-9
- 抓取利用NUTCH来抓取网站数据并进行后期数据分析相关文档
- 中国财经教育资源共享联盟数据科学实战训练营
- 最受欢迎的网页数据采集软件
- 地震网站数据抓取
- 获取PHP抓取远程网站 数据 的 代码
- 请求JAVA抓取网站数据
- 信息网站数据抓取之争
HostKvm（$4.25/月），俄罗斯CN2带宽大升级,俄罗斯/香港高防限量5折优惠进行中
HostKvm是一家成立于2013年的国外VPS服务商，产品基于KVM架构，数据中心包括日本、新加坡、韩国、美国、俄罗斯、中国香港等多个地区机房，均为国内直连或优化线路，延迟较低，适合建站或者远程办公等。本月，商家旗下俄罗斯、新加坡、美国、香港等节点带宽进行了大幅度升级，俄罗斯机房国内电信/联通直连，CN2线路，150Mbps(原来30Mbps)带宽起，目前俄罗斯和香港高防节点5折骨折码继续优惠中...
LOCVPS：美国XEN架构VPS七折,全场八折,日本/新加坡XEN架构月付29.6元起
LOCVPS发来了针对XEN架构VPS的促销方案，其中美国洛杉矶机房7折，其余日本/新加坡/中国香港等机房全部8折，优惠后日本/新加坡机房XEN VPS月付仅29.6元起。这是成立较久的一家国人VPS服务商，目前提供美国洛杉矶(MC/C3)、和中国香港(邦联、沙田电信、大埔)、日本(东京、大阪)、新加坡、德国和荷兰等机房VPS主机，基于XEN或者KVM虚拟架构，均选择国内访问线路不错的机房，适合建...
EdgeNat 新年开通优惠 - 韩国独立服务器原生IP地址CN2线路七折优惠
EdgeNat 商家在之前也有分享过几次活动，主要提供香港和韩国的VPS主机，分别在沙田和首尔LG机房，服务器均为自营硬件，电信CN2线路，移动联通BGP直连，其中VPS主机基于KVM架构，宿主机采用四路E5处理器、raid10+BBU固态硬盘！最高可以提供500Gbps DDoS防御。这次开年活动中有提供七折优惠的韩国独立服务器，原生IP地址CN2线路。第一、优惠券活动EdgeNat优惠码（限月...
-
可以发外链的论坛发外链的论坛哪个比较好，哪个论坛能发外链，能发广告急求。。。。刷网站权重适当的刷百度指数对网站权重有影响吗手机区号打电话怎么加区号？网易公开课怎么下载如何下载网易公开课宕机宕机是什么意思网站优化方案网站优化方法有哪些怎么上传音乐如何上传音乐网站推广外链如何做网站推广 ，外链推广的方向在哪里？怎么在图片上写文字如何在图片上写字？防钓鱼什么是IP防钓鱼和域名防钓鱼？