文件名称：蜘蛛
文件大小：191KB
文件格式：ZIP
更新时间：2024-03-23 12:16:48
Python
NSpider 介绍 NyderSpider（NSpider）是面向个人电脑的超轻量级资源爬取框架。nspider基于请求库，采用多进程+多线程的设计。主要针对普通论坛，资源网站的图片，视频资源进行爬取。 nspider基于SQLite进行数据和进度存储工作，在nspider设计框架和SQLite自有的鲁棒性上来看，你可以随时随地暂停，杀死nspider，nspider将在下一次启动时自动恢复上一次的工作进度。 由于没有对本框架所有模块所有方法进行细致的测试，所以并不保证框架没有bug，还需要一些实践来验证本框架的鲁棒性。 抽象结构 如果你只是想使用该架构，只需了解如下结构即可。 真实结构 如果你想了解架构的真实结构，请看如下图。 要求 Python 3.6+ 适用于Linux（不确定），Windows，macOS（不确定） 安装 复制nspider文件夹到你的项目目录，然后impor
【文件预览】：
nspider-dev
----setup.py(655B)
----nspider()
--------settings()
--------core()
--------__init__.py(288B)
--------abstract()
--------utilities()
----.gitignore(2KB)
----README-en.md(41B)
----LICENSE.txt(1KB)
----README.md(7KB)
----demo()
--------tieba()
----README.rst(588B)
----img()
--------nspider-brief.jpg(39KB)
--------nspider.jpg(202KB)
----version.info.txt(305B)