文件名称:wallpaper:zol 手机壁纸爬虫(简单分布式?)
文件大小:459KB
文件格式:ZIP
更新时间:2024-06-06 22:09:22
wallpaper zol Python
zol 手机壁纸爬虫 这两天在找手机壁纸,不过发现一张一张来效率太低。话不多说,爬虫在手,天下我有! 爬取网站: 至于为什么选这个 zol 的手机壁纸网站,没办法,某度搜索出来第一个,树大招风! 代码用 Python 写的,第三方类库只用了 requests,老少皆宜。匹配只用了正则表达式。利用多进程提高爬取速度。 壁纸大小为 750 * 1334(iphone6 的分辨率),大小可在代码里自行更改,最高的分辨率为 1080 * 1920(iphone6s plus 的分辨率)。 总共爬取了 420 套,共 3941 张壁纸。 具体情况如下图,以套图为单位存放在不同的文件夹 囊括了各种风格的壁纸!! 然而,事情到这里还没有结束。这两天看了 redis 的文档,就想利用 redis 来搞个简单的分布式爬虫。前期工作的下载和配置 redis 我就不说了。核心逻辑是先将所有连接存入到本机的 re
【文件预览】:
wallpaper-master
----.gitignore(1KB)
----images()
--------wallpaper_2.jpg(61KB)
--------wallpaper_0.png(15KB)
--------wallpaper_1.png(387KB)
----requirements.txt(15B)
----wallpaper.py(4KB)
----LICENSE(1KB)
----wallpaper_redis.py(4KB)
----README.md(2KB)