文件名称:python_spider:万维网
文件大小:5KB
文件格式:ZIP
更新时间:2024-03-29 12:48:20
Python
python_spider 小项目简介:这是由本人边提需求边完成的练习手爬虫的小项目,能够实现微博个人主页所有微博内容的爬取。功能:获取微博用户每一条微博的信息(包括转发,点赞的微博),其中原创微博抓取文字,配图,视频,发博时间,转发的微博则抓取转发的时间,转发的评价,财经杂志的链接,点赞的微博暂时实现(第一版)应用知识:1.动态页面渲染和Ajax ----- selenium:模拟鼠标动作,填充表单,页面切换2.破解反爬技术----使用Selenium模拟登录3 urllib -----使用urllib实现视频和图片的下载4 xapth ----使用xapth选择页面元素代码: :
【文件预览】:
python_spider-master
----weibo_spider.py(14KB)
----README.md(816B)