文件名称：spidy:简单易用的命令行网络爬虫
文件大小：23.09MB
文件格式：ZIP
更新时间：2024-06-18 16:35:24
python crawler web-crawler crawling python3
蜘蛛网爬虫 Spidy (/spˈɪdi/) 是简单易用的命令行网络爬虫。 给定一个网络链接列表，它使用 Python 来查询网页，并使用从页面中提取所有链接。 很简单！ 由rivermont (/rɪvɜːrmɒnt/) 和FalconWarriorr (/fælcʌnraɪjɔːr/) 创建，并在这些很棒的人的帮助下开发。 寻找技术文档？ 查看DOCS.md 想为这个项目做出贡献吗？ 看看CONTRIBUTING.md ，然后查看文档。 :party_popper: 新的功能！ 多线程 爬取所有东西！ 运行单独的线程以同时处理多个页面。 这么快。 非常哇。 PyPI 一行pip install spidy-web-crawler ： pip install spidy-web-crawler ！ 使用 Travis CI 进行自动测试 发布 v1.4.0 - # 31663d3 s
【文件预览】：
spidy-master
----setup.py(2KB)
----.gitignore(1KB)
----Dockerfile(500B)
----media()
--------spidy_docker_demo.gif(15.15MB)
--------start.png(6KB)
--------frame.png(560KB)
--------log.png(7KB)
--------keyboardinterrupt.png(5KB)
--------spidy_logo.png(43KB)
--------favicon.ico(5KB)
--------run.gif(8.07MB)
----requirements.txt(27B)
----Makefile(794B)
----spidy()
--------__init__.py(92B)
--------crawler.py(41KB)
--------config()
--------gui.py(9KB)
--------docs()
--------tests.py(6KB)
----.travis.yml(334B)
----LICENSE(34KB)
----setup.cfg(40B)
----.github()
--------PULL_REQUEST_TEMPLATE.md(624B)
--------ISSUE_TEMPLATE.md(547B)
----README.md(13KB)
----README.rst(4KB)