douban_movies_threading:抓取豆瓣电影,单线程VS多线程

时间:2024-06-14 07:13:26
【文件属性】:

文件名称:douban_movies_threading:抓取豆瓣电影,单线程VS多线程

文件大小:3KB

文件格式:ZIP

更新时间:2024-06-14 07:13:26

Python

#douban_movies_threading 该脚本主要是为了学习python中的threading和Queue模块。 分别使用多线程和不使用多线程抓取了2011,2012,2013,2014四年中豆瓣电影的前100部。 使用多线程的脚本中设置的线程数为4。 #结果 使用多线程的脚本抓取所有数据总共耗时:23.54秒 不使用多线程的脚本抓取所有数据总共耗时:92.48秒 从结果可以看出,不使用多线程所消耗时间大约是使用多线程所耗时间的4倍,即为线程数。 #测试环境 Python 2.7.6 Ubuntu 14.04 32bit


【文件预览】:
douban_movies_threading-master
----douban_movie.py(984B)
----.gitignore(702B)
----douban_movie_with_threading.py(1KB)
----README.md(580B)

网友评论