文件名称：CrawlerMain:基于PythonScrapyMongoDB的分布式搜寻器系统
文件大小：138KB
文件格式：ZIP
更新时间：2024-05-18 08:22:53
Python
履带式 这是一个分布式的垂直爬虫系统，用于一系列网站，包括广泛的Eastmoney.com的股票消息，新闻Web门户Sina.com.cn和Social Trading平台Xueqiu.com 。 设计 Windows平台 Python3 + Scrapy Redis用于排队和分布式爬网。 MongoDB作为数据存储系统。