offly:将网站序列化为单个 JSON 文件

时间:2024-07-01 05:53:01
【文件属性】:

文件名称:offly:将网站序列化为单个 JSON 文件

文件大小:58KB

文件格式:ZIP

更新时间:2024-07-01 05:53:01

JavaScript

离线 用于捕获高动态网站的高保真静态复制的多用途工具。 基于 filternet.js 和 PhantomJS。 使用示例 将站点序列化为文件 $ node index.js scrape --crawl_url=https://news.ycombinator.com/ --recursive hacker-news.json Dumping http traffic to hacker-news.json. Getting: https://news.ycombinator.com/ Getting: http://www.ycombinator.com/apply/ Getting: http://www.nytimes.com/interactive/2013/10/08/science/the-higgs-boson.html#/ ? g=true & higgs1_sli


【文件预览】:
offly-master
----online-transform-example()
--------list-pages.js(2KB)
----.gitignore(76B)
----package.json(1KB)
----starter.js(747B)
----transform-example()
--------set-title.js(739B)
----.travis.yml(98B)
----index.js(196B)
----README.md(3KB)
----lib()
--------filternet()
--------common.js(2KB)
--------dump.js(7KB)
--------explode.js(2KB)
--------options.js(4KB)
--------onlinetransforms()
--------serve.js(4KB)
--------transforms()
--------show.js(951B)
--------scrape.js(6KB)
----test()
--------dumpSSL-E2E-Test.js(5KB)
--------E2E-Test.js(8KB)
--------transforms()
--------scrape-E2E-Test.js(6KB)
--------app-under-test.js(1KB)
--------test-utils.js(929B)
--------scrapeSSL-E2E-Test.js(3KB)

网友评论