文件名称：nodejs 爬虫框架-哔哩搜索 v1.0
文件大小：2.42MB
文件格式：ZIP
更新时间：2022-11-29 00:20:42
其它源码
哔哩搜索-百度网盘搜索引擎是一个以node.js进行开发的百度云分享爬虫项目。同时也是一个简单高效的nodejs爬虫模型。github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web模块还是需要自己开发。安装：安装node.js和pm2，node用来运行爬虫程序和索引程序，pm2用来管理node任务安装mysql和mongodb，mysql用来保存爬虫数据，mongodb用来保存最终的百度云分享数据，这些数据是json格式的，用mongodb保存更方便。git clone https//registry.npm.taobao.org更多安装cnpm的命令可以去淘宝NPM 镜像上面找。初始化爬虫数据（主要是url列表）都是保存在mysql数据库的，yunshare使用sequelizejs做orm映射，源文件在src/models/index.js，默认的mysql用户名和密码都是root，数据看是yun，你需要手动创建yun数据库create database yun
【文件预览】：
yunshare-master
----.gitignore(607B)
----README.md(3KB)
----.vscode()
--------launch.json(1012B)
----process.json(299B)
----package.json(1KB)
----dist()
--------parser.js(832B)
--------worker()
--------share.js(291B)
--------update()
--------update.js(268B)
--------indexer.js(266B)
--------yun.js(1001B)
--------parser()
--------script()
--------models()
--------user.js(465B)
--------follow.js(298B)
--------fan.js(277B)
--------elastic.js(298B)
--------util()
----src()
--------parser.js(472B)
--------worker()
--------share.js(110B)
--------parser()
--------script()
--------models()
--------follow.js(114B)
--------fan.js(99B)
--------elastic.js(112B)
--------util()
----.babelrc(28B)
----.editorconfig(207B)
----yarn.lock(127KB)
----data()
--------wap.html(26KB)
--------share.json(18KB)
--------album.json(2KB)
--------hot.json(12KB)
--------urls.sh(2KB)
--------follow.json(1KB)
--------mapping.json(677B)
--------fan.json(7KB)
----dict()
--------custom()
----.eslintrc.js(681B)
----gulpfile.babel.js(2KB)
说明.htm