文件名称：tiebaCrawler：贴吧爬虫（零基础小白半天写的贴吧爬虫）
文件大小：10KB
文件格式：ZIP
更新时间：2024-03-08 16:36:28
Python
贴吧爬虫 背景：零基础小白放假在家闲的没事，想爬取南京信息职业技术学院贴吧用户关注的贴吧因此写来的项目 实现的时间大概是大半天，有部分网页基础，没有系统的学过python！平时了解了一丢丢基本的语法 不足：贴吧有防爬虫机制(应该是发现ip大量的刷新页面需要验证)，因为是小白入门所以没有解决这个问题 我当时用无线网来爬取信息的,无法使用的时候换了手机的热点(相当于换了ip地址) 实现的思路大致如下： 1.保存南京信息职业技术学院吧的网址，获得（0，n）页帖子的url（tiezi.py）保存到数据库 2.根据排名第二精品贴分析，获取层主的全部url（user.py） 3.根据个人主页来获取关注的贴吧（user_bar.py） 4.楼中楼通过xhr分析（answer.py）```本项目的几个python文件是相互独立的，测试文件夹是为了实现思路而写的demo.py是其他三个独立
【文件预览】：
tiebaCrawler-master
----answer.py(2KB)
----user.py(2KB)
----tiezi.py(1KB)
----test()
--------Proxy.py(647B)
--------user_agent.py(4KB)
--------mysql_demo.py(547B)
--------redis_demo.py(273B)
----demo.py(4KB)
----user_bar.py(467B)
----readme.md(2KB)