采集(WORD)-如何让DEDECMS支持部分采集?

dedecms采集  时间:2021-03-19  阅读:()

如何让DEDECMS支持部分采集

如何让DEDECMS支持部分采集

D ED E CM S自带的采集功能虽然比不上其他专业的采集软件但对比其他采集程序在性能上还是非常不错。很多其他程序无法采集下来的网页使用DEDECMS可以采集得到。 比如58同城首页使用discuz的下载函数采集过来的都是一片空白或者警告内容但是使用dedecms的下载完全可以下载下来。

D ED E采集程序原理

DEDECMS的采集原理很简单 通过PHP程序socket模拟HTTP请求下载整张网页的HTML。不过这里面有一个不足之处——不支持部分采集。如果我们仅仅要获得对方网页的标题却下载了整张网页。一两张无所谓但是大量的下载就会挤占服务器资源和带宽。 比如商务大陆网35dalucom的分类信息网站大全该频道含有600多分类信息网站 网站程序后台自动定期获取这些网站的标题 以判断这些网站是否可以正常打开 内容是否发生改变。如果使用dede的程序直接默认下载整张网页而不是仅网页HTML头部部分长期下去可想而知会挤占多少服务器资源。此时我们此处仅仅需要获得对方网页的标题而已。

修改文件dedehttpdown.class.php

要让D E D E CM S实现部分采集的功能非常简单 只需要修改采集程序文件dedehttpdown.class.php中的2个地方即可。使用notepad++或者dreamweaver打开/include/dedehttpd. class.php

1第118行$this->m_html = ' ' ;背后加入$this->dataLimit =

0;

2第285行$this->m_html .= fgets($this-& gt;m_fp,256) ;背后加入if($this->dataLimit > 0 && strlen($this->m_html) > $this->dataLimit) break;保存即可。

使用方法

$remoteURL = ‘http://www.35dalu. com/info/fabu/’ ;

$dh = new DedeHttpDown() ;

$dh->OpenUrl ($remoteURL) ;

$dh->dataLimit = 1024;

$remoteHTML = $dh->GetHtml() ;

我们只需要在$dh->OpenUrl ($remoteURL) ;背后加入$dh->dataLimit =1024; (你想采集的字节大小即可。 通过这样的方法我们可以更节约服务器资源。 by 35dalu.com

7月RAKsmart独立服务器和站群服务器多款促销 G口不限量更低

如果我们熟悉RAKsmart商家促销活动的应该是清楚的,每个月的活动看似基本上一致。但是有一些新品或者每个月还是有一些各自的特点的。比如七月份爆款I3-2120仅30美金、V4新品上市,活动期间5折、洛杉矶+硅谷+香港+日本站群恢复销售、G口不限流量服务器比六月份折扣力度更低。RAKsmart 商家这个月依旧还是以独立服务器和站群服务器为主。当然也包括有部分的低至1.99美元的VPS主机。第一、I...

ShockHosting日本机房VPS测试点评

这个月11号ShockHosting发了个新上日本东京机房的邮件,并且表示其他机房可以申请转移到日本,刚好赵容手里有个美国的也没数据就发工单申请新开了一个,这里做个简单的测试,方便大家参考。ShockHosting成立于2013年,目前提供的VPS主机可以选择11个数据中心,包括美国洛杉矶、芝加哥、达拉斯、杰克逊维尔、新泽西、澳大利亚、新加坡、日本、荷兰和英国等。官方网站:https://shoc...

3G流量免费高防CDN 50-200G防御

简介酷盾安全怎么样?酷盾安全,隶属于云南酷番云计算有限公司,主要提供高防CDN服务,高防服务器等,分为中国境内CDN,和境外CDN和二个产品,均支持SSL。目前CDN处于内测阶段,目前是免费的,套餐包0.01一个。3G流量(高防CDN)用完了继续续费或者购买升级包即可。有兴趣的可以看看,需要实名的。官方网站: :点击进入官网云南酷番云计算有限公司优惠方案流量3G,用完了不够再次购买或者升级套餐流量...

dedecms采集为你推荐
企业建网站一般中小型企业建立网站需要多少费用?多大的空间?sqlserver数据库如何登陆sql server中的数据库重庆网站制作请问一下重庆网站建设哪家公司做得好,价格又便宜哦?360arp防火墙在哪360的9.6版本ARP防火墙在哪?传奇域名谁能帮忙查查传奇的IP和域名小型汽车网上自主编号申请成都新车上牌办理流程和办理条件是如何的泉州商标注册泉州本地商标注册要怎么注册?具体流程是什么?缤纷网缤纷的意思是什么瑞东集团中粮集团是什么性质的企业即时通请问有没有人知道即时通是什么?怎样先可以开??
in域名注册 cn域名备案 godaddy域名解析 中文域名交易中心 企业主机 mediafire omnis 128m内存 NetSpeeder 国外空间 gg广告 柚子舍官网 已备案删除域名 789电视网 美国在线代理服务器 免费高速空间 hdd 网页提速 iki 登陆qq空间 更多