文件名称：C#网络爬虫_网络矿工开源版
文件大小：2.57MB
文件格式：ZIP
更新时间：2017-05-27 09:25:36
C# 网络爬虫 网络矿工
网络矿工是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。当前提供的主要功能如下： 1. 多任务多线程数据采集，支持POST方式； 2. 可采集Ajax页面； 3. 支持Cookie，支持手工登录采集数据； 4. 支持采集事务； 5. 支持数据自动及手工导出，导出格式为：文本、Excel、Access、MSSql、Mysql等； 6. 支持在线发布数据； 7. 支持导航网址的采集，导航深度不限； 8. 支持自动翻页； 9. 支持文件下载，可以采集图片、Flash及其他文件； 10. 支持采集结果数据的加工，包括替换、附前缀后缀、截取等操作，支持正则； 11. 采集网址定义不仅支持基本参数定义，也可外接字典数据作为网址参数，进行数据采集； 12. 支持一个任务多实例运行； 13. 提供计划任务，计划任务支持Soukey采集任务、外部可执行文件任务、数据库存储过程任务； 14. 计划任务执行周期支持每天、每周及自定义运行间隔；最小单位为：半小时； 15. 支持任务触发器，即可在采集任务完成后，自动触发执行其他任务（包括可执行文件或存储过程）。 16. 完善的日志功能：系统日志、任务执行日志、出错日志等等； 17. 系统提供MINI浏览器可用于捕获Cookie或POST数据。 ........ 授权协议BSD 代码更新：2013-05-02 版本1.61