book-spider:书籍爬虫(仅供学习交流使用)

时间:2024-06-05 21:47:29
【文件属性】:

文件名称:book-spider:书籍爬虫(仅供学习交流使用)

文件大小:276KB

文件格式:ZIP

更新时间:2024-06-05 21:47:29

nodejs book-spider always-updating JavaScript

Book Spider Attention!! 本项目仅用于学习交流 V1 Roadmap 分析起点APP,获取数据连接 代理起点接口,将数据原样返回给APP 从网络中选取源,分析不同网站的源数据,根据起点的书本以及文章数据,定向获取章节内容 定义书籍扒取规则:客户端请求服务端书籍内容,如果书籍已经扒取,则直接返回章节内容;如果服务端从未扒取过该书籍,则返回客户端需等待扒取信息,服务端后台启动线程扒取书籍数据,并且在扒取完成后,设定每天定时扒取任务 V2 Roadmap V1版本图书信息由于起点api增加了验证机制,导致无法获取图书信息。尝试过破解,发现难度较大,打算以后有空去解决。 V2版本则是基于追书神器的API做的一个简单封装,之后可能会做数据缓存。以后不排除追书将该API封禁的情况发生。 基础封装,实现图书相关信息获取(包括章节内容) 逐步完善需要的API(分析追书神器


【文件预览】:
book-spider-master
----yarn.lock(94KB)
----src()
--------qidian.client.js(4KB)
--------db()
--------core()
--------app.js(2KB)
--------config()
--------mocks()
--------api()
--------zhuishu.client.js(5KB)
--------index.js(69B)
----.babelrc(168B)
----.vscode()
--------launch.json(647B)
----LICENSE(34KB)
----test()
--------qidian.client.js(1KB)
--------ybdu.parser.js(1KB)
--------zhuishu.client.js(2KB)
--------bqg.parser.js(1KB)
----README.md(1KB)
----dist()
--------qidian.client.js(10KB)
--------db()
--------zhuishu.client.js.map(12KB)
--------core()
--------app.js(2KB)
--------config()
--------mocks()
--------api()
--------app.js.map(3KB)
--------index.js.map(196B)
--------zhuishu.client.js(17KB)
--------qidian.client.js.map(8KB)
--------index.js(121B)
----.gitignore(28B)
----package.json(1KB)

网友评论