本文主要讲爬取微信好友性别比例和地区分布,后面还会讲如何爬取好友其他信息,代码已上传到QQ群(627714866)
爬虫技术:pandas、matplotlib、itchat、面向对象写法
先看下方大屏幕,男朋友近600,女朋友300,还有一些未知生物存在,不小心暴露了小编的性取向,好友分布主要集中于广东和河南,可以猜下小编是哪里人
废话不多说,直接上代码
1、pip install itchat,安装微信接口模块,导入pandas和matplotlib模块
2、创建一个类,并初始化方法获取朋友信息
self.friends:数据结构列表包含字典,每个字典代表每个好友姓名、地区、签名等信息[{},{},{}]
plt.rcParams用来处理绘图显示中文问题
3、提取名字,性别,省份,城市,签名信息,并保存到新列表
4、pandas将朋友信息列表转成dataframe,并保存为csv方便查看
5、pandas的value_counts()方法可以统计每种性别和每个省份出现的次数,并由大到小排序,这里我们提取省份前15个,并转成dataframe结构
由于有些省份没有填写,为空,通过遍历,将空的省份替换成“未知”
6、绘图,参数说明+绘图方法
7、调用方法
代码和一些python教程已经上传到QQ群(627714866),有兴趣的同学可以加群下载
python爬虫人工智能大数据公众号
本公众号长期提供各种免费视频学习资源,欢迎与作者相互探讨学习
公众号回复“资料”获取500GB相关视频教程,部分教程分类和截图如下:
python、django 、flask、数据分析、爬虫、运维、大数据、量化金融、机器学习、深度学习、自然语言处理、人工智能、电子书
0、python入门教程
1、Django教学网站项目实战视频,带xadmin后台和源码:
2、Flask项目实战视频和源码:
3、爬虫项目实战视频和源码:
4、数据分析项目实战和源码:
5、全部资料