【文件属性】：
文件名称：拖网渔船：适用于facebook，gab，google和tiktok的刮板
文件大小：229KB
文件格式：ZIP
更新时间：2021-02-15 11:26:23
scraper datasources schedule-jobs JavaScript
拖网渔船
用于网络抓取（和其他）任务的作业计划程序和分析工具。
数据源
当前已实现以下数据源：
Facebook帖子和React刮了Facebook帖子，评论和React（例如，心脏等）
用户的gab（纳粹twitter）爬虫帖子
google dorking找到有趣的文件并下载
基于masscan udp的端口扫描程序（需要docker ）
onionlist从onionlist.org下载tor-catalogue
tiktok获取每个主题标签的视频元数据，下载它们并使用easyOCR分析文本
网址通用http搜寻器
特征
动作/数据源的简单配置，也来自第三方模块/存储库
作业监控和调度
安排工作
sqlite，csv和json浏览器
数据集/工件的分离（每个爬网一个存档）
数量可扩展的工人（也在其他机器上）
建筑学
前端和API
GUI创建和安排作业
显示待处理，正在运
【文件预览】：
trawler-main
----utils()
--------Fields.js(594B)
--------SQL.js(558B)
--------worker.js(7KB)
--------db.js(103B)
----.github()
--------workflows()
----public()
--------index.html(2KB)
--------favicon.ico(4KB)
----start.sh(32B)
----.gitmodules(192B)
----models()
--------Comment.js(242B)
--------Dataset.js(211B)
--------Post.js(218B)
--------Reaction.js(228B)
----.eslintrc.js(724B)
----src()
--------router()
--------main.js(272B)
--------views()
--------components()
--------App.vue(560B)
--------plugins()
--------assets()
--------data(7B)
----babel.config.js(73B)
----datasources()
--------onionlist()
--------mail()
--------motiondetection()
--------url()
--------masscan()
--------tiktok()
--------facebook_posts()
--------datasources.js(2KB)
--------gab()
--------json_to_csv()
--------google_dorkload()
----.prettierrc(93B)
----README.md(2KB)
----ecosystem.config.js(1KB)
----.env.template(421B)
----vue.config.js(67B)
----docs()
--------README.template.md(1KB)
--------build_docu.sh(501B)
----worker.js(101B)
----tests()
--------worker.test.js(2KB)
----.gitignore(239B)
----package-lock.json(701KB)
----api.js(5KB)
----package.json(2KB)