采集DedeCMS自动采集功能教程

dedecms自动采集  时间:2021-03-19  阅读:()

De de CMSV5.6版自动采集功能规则使用基本知识讲解教程(1)

2011-05-05 17:09:01来源:作者: 【大中小】 浏览:5026次评论:0条★★我要投稿★★将此页添加到网摘

减肥药排行榜http://www.jxmxlp.co

DedeCMS采集功能使用基本知识讲解采集是指有着确定方向、明确目的的采撷和记录写作材料的一种活动。它主要指调查采访和查阅和搜集资料。采集最主要的作用在于为写作、分析、报表获取直接的和间接的材料。今天我们讲的采集主要是指网站采集网站采集的概念主要是程序按照指定的规则定向获取其他网站数据的一种方式另一种简单的说法就是将CTRL+C CTRL+V程序化系统化 自动化智能化

DedeCMS早期就已经加入了这个采集的功能 以前我们添加网站内容一般都是通过复制、粘贴、编辑然后再发布这样对于少量的文章还是可以但如果对于一个新站什么内容都没有那就需要复制粘提大量的文章这是一个重复、枯燥的过程 内容采集就是解决这个问题将这个重复的操作简化成规则通过规则进行批量操作。

当然采集还可以通过一些专门的采集器来进行采集国内比较出名的采集器有火车头。

今天我们这里以DedeCMS程序自带的采集功能来讲解如何使用采集并介绍如

何对采集的内容进行一些批量的管理。

首先我们进入系统后台打开[采集]-[采集节点管理]在学习使用这个采集工能之前先介绍一些基本的技术知识。

首先我们需要知道H TML基本内容我们知道浏览器中显示的各种各样的页面其实都是由最基本的HTML组成的我们可以在我们DedeCMS系统后台发布一篇内容然后对内容进行一些格式上面的设置。

也就是说我们的页面都是H TML代码经过浏览器解析后显示出来的这些基本的HTML代码是给机器看的而解析出来显示的内容是给我们的用户看的机器其实是一个死东西他阅读网页不像用户一样直接看到某一个部分的内容

机器能够看到的是某一部分代码。

De de CMSV5.6版自动采集功能规则使用基本知识讲解教程(二)2011-05-05 17:09:01来源:作者: 【大中小】 浏览:5027次评论:0条★★我要投稿★★将此页添加到网摘

我们的电脑是看不出来的他不过判断显示出来的东西他只会去解析代码我们右键查看这个文件的源文件。

机器是阅读这些代码内容的他只能看懂这部分的内容在下面这个地方

也就是说我们如果需要采集这些内容需要告诉机器你应该从哪段代码开始然后到什么地方结束 中间的这个部分就是我们需要的内容然后将这些内容自动添加到数据库中来省去自己添加内容的枯燥。

De de CMSV5.6版自动采集功能规则使用基本知识讲解教程(三)

2011-05-05 17:09:01来源:作者: 【大中小】 浏览:5028次评论:0条★★我要投稿★★

将此页添加到网摘

减肥药排行榜http://www.jxmxlp.co

这里我们就讲到了采集中的一个概念规则规则简单的说也就是我们告诉计算机需做什么 比如采集内容我们告诉计算机从什么地方的代码开始到什么地方的代码结束这些内容就是一个规则在DedeCMS程序中我们需要涉及到2个地方的

规则 1.列表规则 2.内容规则。

列表规则告诉计算机你去采集哪几篇文章这些文章列表从什么HTML代码开始到什么HTML代码结束

内容规则告诉计算机去采集哪个部分的内容文档的内容是从什么HTML代码开始到什么HTML代码结束

我们说学会使用采集功能其中最主要的也就是学会制定采集的规则有了这些规则之后采集其实是非常简单的一件事情。

采集的一般步骤主要有以下几步

1. 制定列表采集规则这里设置主要告诉服务器你采集哪些内容一般都是被采

集网站的列表页

2. 制定内容采集规则这里告诉服务器你采集页面的内容在页面的哪个部分一

般都是被采集网站的内容页

3. 选择栏目、条件导出采集内容

4. 批量对采集过来的内容进行维护 可以没有

5. 生成采集后的HTML页面代码

我们也能够很清晰的看出采集最关键也是前2个步骤这两个步骤是决定采集内容是否成功的一个重要环节有一个地方采集出错都将不会成功采集到网站的内容。第一部分结束

下面我们结合实例讲解如何使用DedeCMS的采集程序来采集页面信息。

我们来看打开的采集节点管理页面

我们把一个整体的采集规则及内容成为一个节点我们通过对节点的管理可以轻松

方便的对我们采集的规则及采集的内容进行管理 当然采集规则也是可以导出的我们只需要选中相应的采集节点但后单击[导出配置] 就可以将我们事先指定好的采集规则导出来 同大家一同分享。

当然获得了节点规则也可以通过系统的[导入采集规则]将采集规则导入到系统中去这样方便了对采集节点的管理 同时我们也可以查看这个节点当前采集的内容信息如采集的日期、创建节点的日期、获取的网址数等等这些都是采集节点的重要组成部分。

这个是文档内容所以我们在创建节点的时候先选择“普通文章” 在V5. 3中只有普通文章和图集2个支持采集的 以前可以自己定义但后来发现用的人很少并且使用起来很多人问题重重所以在新版本中取消了自己制定采集节点的这些功能。选择完节点类型后我们开始创建节点第一个部分是节点的基本信息创建 “节点名称” 这个比较简单就是方便你分辨节点的名称这里我们定义为“站长学院_采集”  “目标页面编码” 这个需要你看下你被采集的网页是用的什么编码一

般如果使用的IE浏览器只需要右键就可以查看到

火狐浏览器就需要在[查看]-[字符编码]的菜单中找到相信的字符编码类型

virmach:3.23美元用6个月,10G硬盘/VirMach1核6个月Virmach

virmach这是第二波出这种一次性周期的VPS了,只需要缴费1一次即可,用完即抛,也不允许你在后面续费。本次促销的是美国西海岸的圣何塞和美国东海岸的水牛城,周期为6个月,过后VPS会被自动且是强制性取消。需要临时玩玩的,又不想多花钱的用户,可以考虑下!官方网站:https://www.virmach.comTemporary Length Service Specials圣何塞VPS-一次性6个...

PQS彼得巧 年中低至38折提供台湾彰化HiNet线路VPS主机 200M带宽

在六月初的时候有介绍过一次来自中国台湾的PQS彼得巧商家(在这里)。商家的特点是有提供台湾彰化HiNet线路VPS主机,起步带宽200M,从带宽速率看是不错的,不过价格也比较贵原价需要300多一个月,是不是很贵?当然懂的人可能会有需要。这次年中促销期间,商家也有提供一定的优惠。比如月付七折,年付达到38折,不过年付价格确实总价格比较高的。第一、商家优惠活动年付三八折优惠:PQS2021-618-C...

UCloud云服务器香港临时补货,(Intel)CN2 GIA优化线路,上车绝佳时机

至今为止介绍了很多UCLOUD云服务器的促销活动,UCLOUD业者以前看不到我们的个人用户,即使有促销活动,续费也很少。现在新用户的折扣力很大,包括旧用户在内也有一部分折扣。结果,我们的用户是他们的生存动力。没有共享他们的信息的理由是比较受欢迎的香港云服务器CN2GIA线路产品缺货。这不是刚才看到邮件注意和刘先生的通知,而是补充UCLOUD香港云服务器、INTELCPU配置的服务器。如果我们需要他...

dedecms自动采集为你推荐
access数据库修复Access数据库恢复,有些表被损坏或有些表的部分记录被损坏,求解啊cisco2960配置cisco4506与2960的vlan配置企业电子邮局企业邮箱怎么使用?全国企业信息查询全国企业信用信息公示系统查询入口 及操作说明哪里有?波音737起飞爆胎飞机会爆胎的吗?支付宝账户是什么支付宝帐号,指的是什么帐号 是网营密码吗抢米网会知道怎样抢小米的请进来说一下。123456hd有很多App后面都有hd是什么意思关闭评论怎样关闭评论?商务软件什么是商业软件?
域名估价 国外域名 网站域名备案 罗马假日广场 精品网 好看的桌面背景图片 华为4核 网通ip 腾讯云分析 165邮箱 北京双线机房 hinet 佛山高防服务器 php空间购买 服务器合租 河南移动m值兑换 hdd 安徽双线服务器 申请免费空间 七牛云存储 更多