文件名称:crawler.js:爬取github用户的registry,用于http
文件大小:12KB
文件格式:ZIP
更新时间:2024-07-03 00:31:22
JavaScript
组件爬虫 为组件抓取 github 用户。 由于缺少供应商前缀,目前仅适用于 Chrome。 一些注意事项: 它使用private: true跳过component.json 。 它跳过禁用问题的存储库。 它试图跳过裸存储库,但有时会失败。 如果没有正确更新, .version可能是错误的(爬虫只检查master )。 GitHub 数据作为.github添加到每个component.json 。 不包括观察者计数,因为 GitHub 的搜索 API 不包括该字段。 应用程序接口 获取/.json 返回一个对象: users - 所有被爬取的用户的对象。 components - component.json的数组。 获取/日志 返回更新的事件源流。 获取/:用户 返回用户的所有组件。 补丁/:用户 更新用户的所有组件。 GET /:user/:repo 返回一个
【文件预览】:
crawler.js-master
----.gitignore(648B)
----app()
--------sse.js(405B)
--------index.js(4KB)
----package.json(1008B)
----Makefile(118B)
----.travis.yml(38B)
----public()
--------index.js(645B)
--------index.html(641B)
--------favicon.ico(5KB)
--------index.css(718B)
----README.md(3KB)
----lib()
--------store.js(799B)
--------log.js(108B)
--------index.js(1KB)
--------crawl.js(4KB)
----Procfile(14B)
----test()
--------crawler.js(634B)