文件名称：dianping:scrapy抓取数据存储至本地mysql数据库-大众点评爬虫
文件大小：3.69MB
文件格式：ZIP
更新时间：2024-06-05 13:35:35
Python
dianping scrapy抓取数据存储至本地mysql数据库 基于python开发，采用scrapy，数据存储至本地数据库（或excel表格） 程序的主要目的是完成抓取和分析的任务同时学习爬虫相关知识，所以在细节处理上略有不足，但考虑到最终的目的是记录自己的学习，另外帮助到他人学习，所以这些细节无关紧要（毕竟不是面向用户的程序）。 程序还有建立商家-用户点评的表格还在进行中... 也许你可以在这里找到一些帮助，比如：一次返回两个，多个item，切割中文，中文转数字等问题 1）一次返回两个、多个item 在pipelines.py文件中，可以看到。如果是不同的spider返回的，直接根据spider的name来判断即可 elif isinstance(item, User_shopItem): 2)而一个spider返回两个、多个item，则通过item的name来判断（item的
【文件预览】：
dianping-master
----dianping()
--------__init__.pyc(133B)
--------middlewares.py(2KB)
--------settings.pyc(867B)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(6KB)
--------dbhelper.py(4KB)
--------items.pyc(2KB)
--------pipelines.pyc(5KB)
--------info.json(228KB)
--------settings.py(4KB)
--------items.py(1KB)
----images()
--------2.png(48KB)
--------9.png(286KB)
--------3.png(228KB)
--------5.png(52KB)
--------8.png(80KB)
--------6.png(417KB)
--------11.png(79KB)
--------1.png(78KB)
--------12.png(31KB)
--------13.png(65KB)
--------15.png(204KB)
--------4.png(534KB)
--------10.png(86KB)
--------7.png(492KB)
--------14.png(105KB)
----analy()
--------user_location.py(1KB)
--------shop_clouword.py(2KB)
--------gender.py(2KB)
--------yz.py(896B)
--------keywords.txt(51KB)
--------transfer.py(2KB)
--------choose_foodtype.py(918B)
--------BosonNLP_sentiment_score.txt(2.41MB)
--------user_table_shop.py(2KB)
--------price.py(1KB)
--------createsql.py(4KB)
--------out.png(37KB)
--------analy_shop.py(4KB)
--------table_content.py(2KB)
----README.md(4KB)
----.idea()
--------.gitignore(176B)
--------misc.xml(202B)
--------dianping.iml(284B)
--------vcs.xml(180B)
--------inspectionProfiles()
--------modules.xml(268B)
----scrapy.cfg(260B)