文件名称：scrapy-bench:用于对Scrapy进行基准测试的CLI
文件大小：3.85MB
文件格式：ZIP
更新时间：2024-05-28 22:41:23
python web-crawler scrapy command-line-tool benchmark-suite
Scrapy的基准CLI （该项目仍在开发中。） 用于对Scrapy进行基准测试的命令行界面，可反映实际使用情况。 为什么？ 当前，当前的scrapy bench选项仅产生一个蜘蛛，该蜘蛛会以较高的速度积极地爬行随机生成的链接。 这样获得的速度（可能对比较有用）实际上并未反映实际情况。 实际速度会因python版本和scrapy版本而异。 当前功能 生成一个占用大量CPU的爬虫，该爬虫遵循网站的静态快照的固定数量的链接。 遵循一种实际情况，在该情况下，将图书的各种信息提取出来并存储在.csv文件中。 广泛的抓取基准测试，它使用1000的网站抓取”副本进行复制，这些副本是使用twisted动态生成的。 服务器文件。 一个微型基准测试，它通过从html页面集合中提取链接来测试LinkExtractor（）函数。 微型基准测试，用于使用html页面集合中的css测试提取。 微
【文件预览】：
scrapy-bench-master
----setup.py(386B)
----urlparseprofile.py(2KB)
----.gitignore(1KB)
----itemloader.py(2KB)
----cssbench.py(1KB)
----execute.py(99B)
----csvspider.py(1KB)
----.travis.yml(316B)
----xpathbench.py(1KB)
----LICENSE(1KB)
----codespeedinfo.py(2KB)
----bench.py(7KB)
----download.py(481B)
----books()
--------books()
--------scrapy.cfg(254B)
----sites.tar.gz(3.52MB)
----server.py(1KB)
----README.md(5KB)
----broad()
--------broad()
--------scrapy.cfg(254B)
----scrapy_bench()
--------middlewares.py(1KB)
--------__init__.py(0B)
----bookfiles.tar.gz(311KB)
----link.py(1KB)
----tox.ini(401B)
----docker()
--------Dockerfile(751B)
--------nginx.conf(208B)
--------supervisord.conf(140B)