文件名称：amazon-project:通用 Amazon.com 搜索和抓取系统
文件大小：5.56MB
文件格式：ZIP
更新时间：2024-07-20 15:44:47
Python
亚马逊产品抓取工具 注意：请阅读以获取图像，以及有关如何导航项目的更深入的分步说明。 这样做的目的是对 amazon.com 的所有产品库运行查询。 它提供了下拉框的管理界面。 这些盒子的标题/价值集是从 amazon.com 上抓取的。 提交查询后，将部署多个网络爬虫来收集查询参数的产品信息。 然后将产品保存在 SQLite3 数据库中以供进一步研究使用。 环境 - Python 网络框架 - 轻量级关系数据库 - Python 网页抓取框架 - 用于清理 DOM 的 Python 网页抓取模块 - 用于查询亚马逊产品 API 的基本 Python API - 用于查询亚马逊产品 API 的 Python API - 高效的 Django 树结构 设置 通过运行python -V确保你有 Python 2.7.6 通过运行sqlite3 --version确保
【文件预览】：
amazon-project-master
----query_titles()
--------models.py(182B)
--------templates()
--------management()
--------__init__.py(0B)
--------views.py(7KB)
--------admin.py(204B)
--------tests.py(60B)
--------urls.py(198B)
----amazon_scraper()
--------scrapy.cfg(271B)
--------amazon_scraper()
--------__init__.py(0B)
----index.html(586B)
----db.sqlite3(66.7MB)
----products()
--------models.py(768B)
--------__init__.py(0B)
--------views.py(0B)
--------admin.py(268B)
--------tests.py(60B)
----requirements.txt(140B)
----manage.py(467B)
----.gitignore(42B)
----categories()
--------models.py(272B)
--------__init__.py(0B)
--------views.py(63B)
--------admin.py(279B)
--------tests.py(60B)
----amazon_api()
--------wsgi.py(395B)
--------__init__.py(0B)
--------settings.py(3KB)
--------urls.py(282B)
----README.md(4KB)
----query_values()
--------models.py(281B)
--------__init__.py(0B)
--------views.py(63B)
--------admin.py(192B)
--------tests.py(60B)
----scripts()
--------get_query_tables.py(3KB)
--------__init__.py(0B)
--------get_categories.py(2KB)
--------webstore.py(3KB)