文件名称：chkweb:一个非常简单的Web搜寻器，用于检查Web服务器中的公共页面
文件大小：9KB
文件格式：ZIP
更新时间：2024-05-08 21:27:57
Python
官方网站 这是一个非常简单的Web搜寻器，用于检查Web服务器中的公共网页。 若要使用，请以URL开头调用子命令以进行爬网： chkweb start http://localhost/ 这将创建一个sqlite3数据库pages.db该pages.db将检测到URL。 它还检查该第一页，并将所有本地链接添加到数据库中，作为待检查的待处理URL。 现在您可以运行： chkweb advance 继续抓取过程。 这将最多使用10个待处理的url，然后依次重复每个过程。 您可以设置环境变量CHKWEB_ADVANCE_LIMIT或设置--limit命令行选项，以定义要检查的新url的最大数量，例如以下示例： chkweb advance --limit 1000 检查过程状态 您可以使用子命令status来检查当前进程status ，如下所示： chkweb status 日志 日志
【文件预览】：
chkweb-main
----pyproject.toml(565B)
----dba.py(3KB)
----requirements.in(25B)
----database-schema.sql(440B)
----tests()
--------test_dba.py(2KB)
--------test_checks.py(2KB)
----checks.py(3KB)
----settings.py(1KB)
----setup.py(669B)
----.gitignore(26B)
----chkweb.py(3KB)
----README.md(2KB)