文件名称：scrapple：创建半自动Web内容提取器的框架
文件大小：545KB
文件格式：ZIP
更新时间：2024-03-11 08:27:25
python crawler tutorial extractor scraping
刮擦 是一个框架，用于根据基于键值的配置文件创建Web爬虫和Web爬虫。 它提供了一个命令行界面来在给定的基于JSON的配置输入上运行脚本，以及一个Web界面来提供必要的输入。 Scrapple的主要目标是抽象设计Web内容提取器的过程。 重点放在要提取的内容上，而不是如何去做。 用户指定的配置文件包含选择器表达式（XPath表达式或CSS选择器）和要选择的属性。 Scrapple完成了运行此提取器的工作，而用户无需担心编写程序。 Scrapple也可以用于生成实现所需提取器的Python脚本。 安装 您可以使用以下方法安装Scrapple $ sudo apt-get install libxml2-dev libxslt-dev python-dev lib32z1-dev $ pip install scrapple 否则，您可以克隆此存储库并安装软件包。 $ git clo
【文件预览】：
scrapple-master
----MANIFEST.in(257B)
----README.rst(13KB)
----test_requirements.txt(54B)
----CONTRIBUTING.rst(3KB)
----.github()
--------ISSUE_TEMPLATE()
----HISTORY.rst(1KB)
----requirements.txt(103B)
----AUTHORS.rst(190B)
----examples()
--------nba.json(4KB)
--------output_nba_players.json(58KB)
----.travis.yml(553B)
----tox.ini(317B)
----TODO.rst(260B)
----LICENSE(1KB)
----scrapple.sh(1KB)
----scrapple()
--------utils()
--------commands()
--------selectors()
--------__init__.py(751B)
--------cmd.py(3KB)
--------templates()
----setup.py(2KB)
----README.md(13KB)
----.deepsource.toml(165B)
----docs()
--------make.bat(7KB)
--------implementation()
--------conf.py(10KB)
--------concepts()
--------index.rst(17KB)
--------Makefile(7KB)
--------intro()
--------contributing()
--------framework()
----tests()
--------expected_result1.json(122B)
--------test_genconfig.py(1KB)
--------test_run.py(2KB)
--------project4.json(594B)
--------__init__.py(0B)
--------project1.json(520B)
--------expected_result4.json(193B)
--------expected_result3.json(122B)
--------test_cmd.py(2KB)
--------test_generate.py(2KB)
--------expected_result2_20180428.json(2KB)
--------project3.json(504B)
--------project2.json(687B)
----.gitignore(542B)