整个可视化系统一共分三个核心模块:
-
数据采集
- 使用
Requests
+BeautifulSoup4
自动爬取指定网站的二手房列表页和详情页。 - 加入随机 UA、延时(
time.sleep(random.uniform(1,3))
)和异常重试,防止被反爬。
- 使用
-
数据处理
- 用 Pandas 将原始爬取的字段(小区名、区域、价格、面积、发布时间等)做清洗和标准化。
- 对空值字段赋
NaN
,统一时间格式,拆分房型、楼层等; - 按城市+日期+区域聚合,计算每日均价、涨跌幅。
-
图表展示
- 后端 Django 提供 JSON 接口
/api/price-trend?city=北京&start=2024-01-01&end=2024-05-01
,返回均价时序。 - 前端用 ECharts 画折线图、柱状图、热力图,一页多图*切换;
- 支持按房型筛选、按区县对比。
- 后端 Django 提供 JSON 接口