1)亚马逊Anti-scrape 措施较多,页面都是动态网页,因此,页面元素分析,javascript分析工作量占据大部分时间。
2)性能优化,执行任务采用异步,多进程方式运行,提供定时任务管理功能。
3)Django模板中添加Echarts Javascript 脚本进行图表绘制,自定义 filter form 提供数据。 由于时间短,未使用Vue方式。
4)保持项目的扩展性:通过爬虫任务管理器满足用户的各类搜索需求。数据库分为原始数据以及清洗数据,中间的cleaning类可以随时扩展,
5)通用绘图接口功能: 由于绘图是通过模板中的javascript脚本完成,计划另写1套通用接口,将数据、绘图类型以参数方式传入,再向django 模板插入echarts绘图脚本,
合作说明
亚马孙的商品页面依据类别、用户所在地、收货地等不同而有所不同,但毕竟是大公司产品,其页面组织是规范的,因此本项目也很容易扩展。 如有对亚马逊数据分析的合作需求,留私信留言。