python爬煎蛋妹子图--20多行代码搞定煎蛋妹子图库

时间:2022-02-01 23:58:14

如果说一个人够无聊的话。。。

就会做一些十分美(wei)丽(suo)的事情啦哈哈哈。。。

好的,话不多说,进入正题。

正如标题所示,我们今天的目标很简单:

代码要少,妹子要好。

步骤如下:

1. 首先我们得确定需要用到的库:

就requests吧,我们首先尝试向煎蛋(http://jiandan.net/ooxx)发起get请求

(当然心里希望不需要加头部信息巴拉巴拉一堆东西。。。)

 import request
url = 'http://jandan.net/ooxx'
r = request.get(url) print r.status_code,r.content

看见200我就很高兴,输出页面也很正常

没想到还一步到位了,不需要做任何多余工作

(内心表示疑惑,煎蛋没有防爬机制吗?给面子!)

2. 接下来就要分析html:

其实目的就是img嘛,我发现结构很简单,正则表达式这么写就行了:

 pic_url = re.findall('<img src="//(.*?)" /></p>',r.content)

(可以print试试,发现并没有多余的图片)

3. 接下来就是分析页码:

我发现页码也没做什么特别的处理,完全是url提交页码信息

于是只要写一个循环满足这个url就行了:

 for i in range(,):
2 url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'

(一共230页,应该是删过了。。。)

4. 接着就把抓图片url做一个函数,然后进行多线程处理即可:

  完整代码:

 #coding=utf-
import requests
import re
import thread
import time def get_pic_url(url):
r = requests.get(url) pic_url = re.findall('<img src="//(.*?)" /></p>',r.content) for i in pic_url:
print i def main(): for i in range(,): url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
thread.start_new_thread(get_pic_url,(url,))
time.sleep(0.1)
#一定要加上time.sleep()不然不能成功运行!!!!!! if __name__ == '__main__':
main()

在thread处理多线程的时候,循环内一定要加上time.sleep(),不然会很惨,比如停止工作巴拉巴拉。。。

好啦,这样我们就轻松获得所有妹子图片url,一共五千张不到,咱就不再urllib下载了,估计也有个几个g

能这么少代码解决也是拖了煎蛋良好的给你爬机制的福,爽!20行代码!