丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
架构说明
系统是基于 Swing+Spring-3.2.4+Mybatis-3.1.1+C3p0-0.9.1.2+Sqlite等技术实现的。
采用插件式开发模式,各大功能模块均可独出来,功能与系统UI对立,可配置性较强。
功能概述
1:系统登录界面:
2:系统启动界面:
3:系统主界面:
(1)我的丑牛:系统信息,插件信息,内存监控,以及任务监控。
(2)采集配置:采集相关的基础配置,包括远程数据库配置,FTP配置,自定义数据配置
(2)数据采集:对采集过程统一管理,包括采集公共参数设置,采集规则列表,采集历史列表,采集内容列表
(3)任务监控:包括采集任务监控,入库任务监控,上传任务监控
(4)定时任务:定时执行采集任务
(5)实用工具:包括图片处理