【文件属性】：
文件名称：crawler
文件大小：33KB
文件格式：ZIP
更新时间：2021-03-28 07:57:49
JavaScript
履带式
用法
var fs = require ( 'fs' )
var split2 = require ( 'split2' )
var { pipe , pipeline , through } = require ( 'mississippi' )
var FeedMe = require ( 'feedme' )
var Crawler = require ( '@ishiduca/crawler' )
var crawler = new Crawler ( )
var interval = 1000 * 60 * 60 * 6 // 6h
var feeds = {
rss : './rss/index.ndjson'
}
// rss/index.ndjson
// ["https://example.com/rss.xml",{"headers":{{"user-age
【文件预览】：
crawler-main
----crawler.js(5KB)
----package.json(684B)
----defaults.json(290B)
----t()
--------test.js(2KB)
--------documents()
--------fixtures()
----README.md(1KB)