文件名称：ghcrawler：抓取GitHub API并存储发现的组织，存储库，提交等。
文件大小：473KB
文件格式：ZIP
更新时间：2024-02-25 06:53:23
github github-api crawler data github-webhooks
GHCrawler GHCrawler是一个健壮的GitHub API搜寻器，可遍历GitHub实体的队列，以传递方式检索和存储其内容。 GHCrawler主要用于尝试跟踪组织和存储库的人员。 例如，Microsoft开放源代码程序办公室使用它来跟踪涉及Microsoft的数千个回购协议。 简而言之，GHCrawler非常适合： 检索与组织，仓库，用户，团队等相关的所有GitHub实体... 有效地存储和检索实体 当与GitHub webhook结合使用以跟踪事件时，使存储的数据保持最新 GHCrawler专注于连续检索（遍历）（一组）队列上提供的GitHub API资源。 每种资源都被
【文件预览】：
ghcrawler-main
----.eslintrc.json(425B)
----.dockerignore(13B)
----docker()
--------common-services.yml(2KB)
--------elastic.yml(828B)
--------mongo.yml(807B)
--------metabase()
--------docker-compose.yml(845B)
----web.config(3KB)
----.vscode()
--------launch.json(6KB)
--------settings.json(313B)
----Dockerfile(773B)
----lib()
--------crawlerService.js(5KB)
--------request.js(7KB)
--------crawler.js(25KB)
--------visitorMap.js(8KB)
--------crawlerFactory.js(31KB)
--------traversalPolicy.js(9KB)
----middleware()
--------auth.js(664B)
--------sendHelper.js(779B)
--------promiseWrap.js(275B)
----providers()
--------fetcher()
--------logger()
--------queuing()
--------storage()
--------limiting()
----app.js(3KB)
----LICENSE(1KB)
----test()
--------integration()
--------unit()
----README.md(10KB)
----jobs()
--------oneTimeStorageRowCount.js(4KB)
--------oneTimeMigrateTrafficData.js(5KB)
--------oneTimePopulateTableMapping.js(4KB)
----.gitignore(70B)
----index.js(678B)
----bin()
--------www.js(2KB)
----routes()
--------webhook.js(3KB)
--------config.js(2KB)
--------requests.js(3KB)
--------deadletters.js(1KB)
--------queues.js(903B)
--------status.js(698B)
----package-lock.json(154KB)
----package.json(2KB)