文件名称：yunSpider:百度云网盘爬虫
文件大小：10KB
文件格式：ZIP
更新时间：2024-05-03 06:54:23
Go
百度云爬虫 安装使用 clone项目到gopath目录 安装依赖 go get github.com/go-sql-driver/mysql go get github.com/siddontang/go/log go get github.com/garyburd/redigo/redis go get github.com/Unknwon/goconfig 修改config.ini配置文件中你自己MySQL和Redis配置(可以不配Redis),Redis不配或者错误会默认将已经爬取的uk保存到hasIndexKeys.txt文件中,这样做防止重复爬同一位用户多次 创建database名为baidu,然后执行baidu.sql go run spider.go (当然也可以编译后运行,此时config.ini记得也复制到编译后的文件目录下,然后运行) 直接下载编译好的使用 适合自己系统
【文件预览】：
yunSpider-user_conf
----spider.go(16KB)
----config.ini(494B)
----.travis.yml(232B)
----README.md(3KB)
----baidu.sql(2KB)
----.gitignore(79B)