文件名称：scrapetition:用Haskell编写的Web刮板
文件大小：93KB
文件格式：ZIP
更新时间：2024-06-11 09:53:32
HTML
刮擦 Scrapetition是用Haskell编写的一种类型安全但灵活的Web刮板。 可以通过html scraper或json parsers轻松扩展它。 抓取的项目存储在SQLite3或SQL数据库中。 现在有刮板 从任意网页中抓取URL（链接）：存储HTTP状态和编码。 对上的文章的评论 我还为 ， 和编写了刮板模块。 安装 Scrapetition用编程语言编写。 为了安装它，需要Haskell的构建工具 。 至少对于构建命令行程序而言，需要和头文件。 可以在没有这些数据库引擎的情况下构建该库。 安装Haskell工具堆栈后，请克隆该存储库，并在克隆的存储库的根目录中执行以下命令： stack build stack install 运行这些命令将花费几分钟，因为Stack需要从Web上下载大量库并进行编译。 用法 Scrapetition是一种命令行工具。 这是它的
【文件预览】：
scrapetition-master
----.gitignore(108B)
----notes.org(1KB)
----stack.yaml(2KB)
----README.md(7KB)
----utils()
--------abfragen-pg.org(9KB)
--------repairxml.sed(74B)
--------answers.sql(438B)
--------dumptxts.sh(353B)
--------threads.sql(526B)
--------dumphtml.sh(3KB)
--------subthread.sh(1KB)
--------cooccurence.sql(441B)
--------threadview.sql(1KB)
--------abfragen-sqlite.org(5KB)
----Setup.hs(46B)
----test()
--------examples()
--------Spec.hs(518B)
--------Test()
----ChangeLog.md(52B)
----LICENSE(11KB)
----app()
--------Main.hs(9KB)
----scrapetition.cabal(3KB)
----src()
--------Network()
----package.yaml(2KB)