文件名称：crawler:爬取tumblr关注博主图片
文件大小：14KB
文件格式：ZIP
更新时间：2024-05-15 10:13:55
golang crawler tumblr Go
golang tumblr爬虫 在sites.txt中添加指定tumblr主页，比如http://allthingseurope.tumblr.com/只需要添加allthingseurope 多条分行添加 代理，默认使用本地代理127.0.0.1:1080端口代理。如需修改请将common/proxyHttp.go中的127.0.0.1:1080改成自己代理。 目前已完成图片和视频的下载 采用channel控制并发，goroutine有点少，下载速度一般 代码进一步优化，修复空指针问题 已采用waitGroup控制并发，最大程度开启goroutine，下载速度飞快，但一般情况下会将机器直接卡死......
【文件预览】：
crawler-master
----.gitignore(57B)
----main.go(560B)
----README.md(613B)
----sites.txt(31B)
----tumblr()
--------tumblr_test.go(522B)
--------tumblr.go(2KB)
--------response.go(2KB)
----oracle.go(696B)
----video.xml(34KB)
----common()
--------downLoad.go(1KB)
--------downLoad_test.go(360B)
--------proxyHttp.go(593B)
----mysql.go(575B)