文件名称：imdb-web-crawler
文件大小：23KB
文件格式：ZIP
更新时间：2024-05-10 20:16:10
Python
IMDB Web搜寻器 Web搜寻器是通常称为蜘蛛机器人或搜寻器的计算机程序，它们会自动扫描Web上的文档以从非结构化源生成结构化数据。 搜索引擎最常使用Web爬网程序在其他网页上创建索引，为研究目的挖掘数据或监视跟踪产品价格或评论趋势的系统。 PersusBetaSpider是使用Python的Scrapy框架开发的网络爬虫。 搜寻器会在IMDB上刮取与前250首电影相对应的相关详细信息，并使用每个电影的抓取数据生成JSON净荷，然后将数据发布到压缩的kafka主题上。 kafka主题又可以用作将数据转储到其他数据库系统（如Postgres或ElasticSearch）以查询或可视化所收集数据的源。 前流氓 Python cra草 水蟒 阿帕奇·卡夫卡（Apache Kafka） 使用Anaconda设置Scrapy 是用于科学计算（数据科学，机器学习应用程序，大规模数据处理，预测
【文件预览】：
imdb-web-crawler-master
----scrapy.cfg(271B)
----ImdbWebCrawler()
--------constants.py(110B)
--------middlewares.py(4KB)
--------pipelines.py(2KB)
--------spiders()
--------__pycache__()
--------items.py(543B)
--------__init__.py(0B)
--------.idea()
--------settings.py(3KB)
----.idea()
--------misc.xml(256B)
--------vcs.xml(180B)
--------imdb-web-crawler.iml(336B)
--------modules.xml(284B)
--------.gitignore(47B)
----logstash-config()
--------imbd.conf(653B)
----README.md(14KB)