文件名称：crawly:Crawly，一个用于Elixir的高级Web爬网和抓取框架
文件大小：96KB
文件格式：ZIP
更新时间：2024-05-31 21:26:19
crawler scraper erlang elixir spider
爬行地 概述 Crawly是用于爬网网站和提取结构化数据的应用程序框架，可用于各种有用的应用程序，例如数据挖掘，信息处理或历史档案。 要求 长生不老药“〜> 1.10” 适用于Linux，Windows，OS X和BSD 快速开始 将Crawly添加为依赖项： # mix.exs defp deps do [ { :crawly , " ~> 0.13.0 " }, { :floki , " ~> 0.26.0 " } ] end 获取依赖项： $ mix deps.get 创建蜘蛛 # lib/crawly_example/esl_spider.ex defmodule EslSpider do use Crawly . Spider alias Crawly . Utils @impl Crawly . Spider d
【文件预览】：
crawly-master
----mix.exs(3KB)
----.github()
--------FUNDING.yml(66B)
----.tool-versions(21B)
----scripts()
--------hex.sh(322B)
----.circleci()
--------config.yml(617B)
----lib()
--------crawly()
--------crawly.ex(4KB)
----config()
--------test.exs(1KB)
--------config.exs(2KB)
--------dev.exs(15B)
----LICENSE(11KB)
----.formatter.exs(171B)
----test()
--------crawly_test.exs(1KB)
--------worker_test.exs(8KB)
--------pipelines()
--------utils_test.exs(2KB)
--------data_storage_test.exs(2KB)
--------test_utils.ex(2KB)
--------test_utils.exs(347B)
--------settings_test.exs(1KB)
--------request_storage_test.exs(3KB)
--------manager_test.exs(5KB)
--------test_helper.exs(48B)
--------engine_test.exs(4KB)
--------middlewares()
--------api_test.exs(649B)
--------engine_tests.exs(527B)
--------data_storage_worker_test.exs(1KB)
----README.md(6KB)
----mix.lock(10KB)
----docs()
--------index.html(776B)
--------.nojekyll(0B)
--------favicon.ico(31KB)
--------_site()
--------README.md(310B)
----.gitignore(141B)
----documentation()
--------configuration.md(6KB)
--------ethical_aspects.md(486B)
--------experimental_ui.md(1KB)
--------tutorial.md(11KB)
--------basic_concepts.md(16KB)
--------http_api.md(611B)