rss-worker:一个可配置的RSS爬虫

【文件属性】：

文件名称：rss-worker:一个可配置的RSS爬虫

文件大小：412KB

文件格式：ZIP

更新时间：2024-06-21 13:57:03

CoffeeScript

rss-worker 简介 rss-worker是一个持久的可配的rss爬虫。支持多URL的并行爬取，并且会将所有条目按时间顺序进行保存，保存格式为"时间\n标题\n内容\n\n"来供使用或分析，支持的保存方式有fs与mongodb。 使用 安装 直接通过npm： npm install rss-worker --save 源码： git clone [e-mail]:DavidCai1993/rss-worker.git cd rss-worker && npm i && coffee -c gulpfile.coffee && gulp #编译coffee的输出目录为./build 例子 var RssWorker = require('rss-worker'); var opt = { urls: ['https://cnodejs.org/rss', 'https:

【文件预览】：
rss-worker-master
----.gitignore(2KB)
----package.json(816B)
----.travis.yml(157B)
----README.md(2KB)
----index.coffee(65B)
----example()
--------output.txt(1.2MB)
----lib()
--------RssWorker.coffee(3KB)
--------persistence()
--------fetch()
--------msg_tool.coffee(559B)
----gulpfile.coffee(791B)
----test()
--------rss_test()
--------fs.test.coffee(1KB)
--------mongo.test.coffee(1KB)