文件名称:sina_nba_crawler:利用python-scrapy爬取新浪nba数据库中的球员数据
文件大小:21KB
文件格式:ZIP
更新时间:2024-07-31 15:02:52
Python
sina_nba_crawler 该爬虫爬取的网页: 利用python-scrapy爬取新浪nba数据库中的球员数据,scrapy的使用主要注意三个文件: items.py #该文件定义一个类,类的成员用于爬虫解析的最终结果数据类型 spiders/nba.py #这是爬虫的解析程序,大部分内容都是专门针对新浪网的解析 setting.py #设置了爬虫的最终结果保存在本地mongo数据库中
【文件预览】:
sina_nba_crawler-master
----scrapy.cfg(248B)
----nba()
--------settings.py(897B)
--------settings.py~(897B)
--------__init__.pyc(121B)
--------pipelines.py(283B)
--------items.pyc(418B)
--------__init__.py(0B)
--------items.py(325B)
--------spiders()
--------settings.pyc(591B)
----README.md(506B)
----scrapy.log(634KB)