文件名称：催化剂
文件大小：115KB
文件格式：ZIP
更新时间：2024-03-07 13:32:28
JavaScript
催化剂 此框架是针对爬虫任务的异步任务调度管理框架。目标是让业务逻辑（爬虫逻辑）开发能够完全集中业务本身，而无需考虑任何网络错误，重试，逐步等非业务细节，从而全面提高业务扩展效率，同时框架作为可持续能统一保障系统稳定性。 框架技术特点为： 完全接口化控制任务配置/调度等所有系统行为 二级并发控制 完善的时间控制机制：任务延迟，重试次数，指数放大重试间隔，随机扰动 优先级和超时控制 灵活的插件机制 1.总览 程序主入口在src/server.js ，运行node src/server.js npm start即可启动。程序启动前，可以按需先通过src/config.js修改系统环境配置。 框架所支撑的业务逻辑默认统一放在src/tasks路径下业务逻辑的代码结构一般是层级结构，第一层为文件夹，文件夹的名字定义业务域;该业务域下可以任意组织目录结构，系统会搜索所有不以_开头的.js文件，当做任
【文件预览】：
catalyst-master
----.gitignore(4KB)
----README.md(16KB)
----test()
--------scheduler.js(17KB)
--------operations.js(40KB)
--------task.js(18KB)
----push(856B)
----jest.setup.js(630B)
----package.json(981B)
----index.js(743B)
----pull(812B)
----jest.config.js(6KB)
----jest.teardown.js(137B)
----lib()
--------debugger.js(11KB)
--------server.js(6KB)
--------logger.js(7KB)
--------scheduler.js(18KB)
--------operations.js(41KB)
--------task.js(25KB)
--------daemon.js(6KB)
--------config.js(2KB)
--------service()
--------watcher.js(9KB)
--------error.js(2KB)
--------loader.js(13KB)
----package-lock.json(301KB)