django-scrapy

【文件属性】：
文件名称：django-scrapy
文件大小：11.37MB
文件格式：ZIP
更新时间：2021-05-11 22:50:44
JavaScript django-scrapy 用爬虫爬取了某个电影网站10w部电影，并用django搭建一个类似的电影网站，将爬来的电影作为数据插入，同时还搭建了一个后台展示highCharts制作的相关 图表，比如统计了浏览量最多的前十部电影 爬虫用的是scrapy-redis+docker开了6只爬虫进行分布式爬取 最后还有另外一只单独的爬虫用crontab定时运行监控电影源网站，一旦源网站有电影更新，则将新更新的电影下来，插入到django的数据库中，则实现了网站电影 的实时同步更新 电影网站截图如下