文件名称:WebCrawler:只是一个简单的Web爬网程序,它使用响应式扩展和异步等待以IObservable的形式返回已爬网的链接
文件大小:10KB
文件格式:ZIP
更新时间:2024-02-25 21:54:07
c-sharp crawler dotnet web-crawler reactive-extension
网络爬虫
只是一个简单的Web爬网程序,它使用响应式扩展,异步等待和polly作为IObservable返回爬网的链接。
dotnet add package MisterHex.WebCrawling --version 2.0.3
用法
Crawler crawler = new Crawler();
IObservable
【文件预览】:
WebCrawler-master
----MisterHex.WebCrawling.sln(3KB)
----Example()
--------Program.cs(475B)
--------Example.csproj(301B)
----README.md(805B)
----azure-pipelines.yml(744B)
----.gitignore(6KB)
----MisterHex.WebCrawling()
--------IUriFilter.cs(182B)
--------MisterHex.WebCrawling.csproj(558B)
--------AlreadyVisitedUriFilter.cs(825B)
--------Extensions.cs(946B)
--------ExcludeRootUriFilter.cs(475B)
--------Crawler.cs(3KB)
--------ExternalUriFilter.cs(640B)