学习使用Et采集的过程和分析

时间:2023-03-08 16:31:11
学习使用Et采集的过程和分析

学习使用Et采集的过程和分析

ET采集主要逻辑是做好这三个步骤,然后开始工作

采集配置

基本设置一般不用修改

列表设置:列表网址,可能有些人不知道什么是列表网址,就是你所要采集网址放在一个页面就是列表网址,比如我们常说的栏目,一个论坛的版块:

学习使用Et采集的过程和分析

列表页肯定不是一页,一般是有规律的,就需要设置成自动列表,具体规则参考ET

列表区域选择:一个网页大的去了,为了快速找到你想要采集的页面,需要制定区域,

学习使用Et采集的过程和分析

学习使用Et采集的过程和分析

一定要找唯一属性的,一般是找id 之类的,中间是你区域内容

列表分析规则:对列表进行分析,用标记替换找到我们需要的文章标题,文章网址,文章缩略图,常见的是包含a标签的,必须有单独标记

学习使用Et采集的过程和分析

文章网址合成:根据列表分析得到的网址,合成你所要采集的页面的网址

基本设置(编码、http请求)——》列表设置(列表网址-》列表区域规则——》列表分析规则)-->文章网址合成

数据项设置-》关联整理组-》

经过两个星期的学习和使用,基本从规则到接口都已经对et 很熟悉了,希望在学习et过程中有不懂的朋友可以再下面留言,我看到会及时回复。。

********************************************** 分割线(当时学习的一些记录) ***************************************************

1,列表网址
<%s=循环标志,起始编号,结束编号,步长,当前编号%>
子循环标记    <%l=loop,起始编号,结束编号,步长,当前编号%>

是否循环  noloop 不循环    loop 循环
自动递增或递减的起始值,只能填写数字,需补零位数应与原字符串一致,例如"05"或"005";
当起始编号比结束编号大则步进方向为递减,否则为递增

2,列表区域规则
[列表区域规则]用于指定包含文章条目列表的代码段,起到缩小分析范围、准确定位的作用
[列表区域规则]可以选填,当此项不填写时,将以整个采集到的列表页源码为列表分析对象,填写本项后,将以本项中区域标记<%content%>所表示的源码作为列表分析对象;
变量标记
标记代码为<%var%>,用于表示源码文本中不需要采集的、连续的、零到任意数量的不确定字符串

3,列表分析规则
[列表分析规则]为必填项,本项用以从[列表区域规则]确定的网页代码范围中分析出文章条目的网址、标题、缩略图等信息
文章地址:<%fileid%> 文章标题:<%title%> 缩略图 <%litpic%> 变量标记 <%var%>

4,文章网址合成
http://www.southmoney.com/<%fileid%>.html

1,数据项设置页
数据项用于定义从采集页面获取的各项信息,除[标题]、[缩略图]、[文章网址](即发布规则中的[文章网址])这三项数据可在列表设置页获取外,要采集发布其他信息,必须在此为其建立并设置数据项

数据项处理流程为:分析数据->字符解码->数据整理->字符解码->网址修正补全->伪原创->关键词检查->敏感词检查->去首尾空白->检查空值;

匹配多条 是为了匹配到回复内容

因为在内容中,只有文字和图片是我们需要的

在匹配 div的时候要由内而外,

经过测试,找到没有匹配到得标签,添加进去替换

附件下载,在数据项设置正文包含文件, 文件下载设置启用下载,
通常设置发布配置,文件上传设置ftp等

******************************************************************

et 采集器 分页

采集方式:
分页区域规则
找到包含分页区域的范围,替换区域标记
分页链接规则
单条链接的规则,选择更准确的字符串,

分页网址合成

逻辑分页

当前网址分解(也就是当前采集的内容页面)
分页增量 一般是从第二页开始
分页网址合成

测试无效特征码是否返回什么,如果没有就是用有效特征码

************************************************************

错误代码 1 :   文章在发布网站重复

错误代码 2 :   采集文章网页失败

错误代码 3 :   标题分析处理异常

错误代码 4 :   访问检查网址失败

错误代码 5 :   采集文章分页失败

错误代码 6 :   数据项分析出错

错误代码 7 :   附件下载异常

错误代码 8 :   附件上传异常

错误代码 9 :   文章发布异常

错误代码 10 :  文章回复异常