文件名称:web-scraping:网页抓取
文件大小:155KB
文件格式:ZIP
更新时间:2024-05-29 20:59:10
HTML
网页抓取 提供一个API,该API返回给定的公共Github存储库的所有文件的行总数和字节总数(按文件扩展名分组)。 无需使用Github的API或Web抓取库,就可以使用纯Web抓取技术来检索数据。 玩 GET url :公共GitHub存储库,例如https://github.com/paulojsilva/web-scraping api_key :如果启用身份验证,请设置安全密钥 技术 在ASP NET Core 3.1,C#8.0中开发的Web应用程序,具有: DDD(域驱动设计) 通知方式 信号量进程同步 并行(ParallelForEach) MemoryCache(本机) Redis缓存(StackExchange.Redis) HttpClient(本机) AngleSharp(HTML解析器) 使用XUnit和FluentAssertions进行单元测
【文件预览】:
web-scraping-main
----.gitignore(1KB)
----Infra.Data()
--------Infra.Data.csproj(421B)
--------Cache()
----Dockerfile(1KB)
----CallibrationTest()
--------Program.cs(2KB)
--------CallibrationTest.csproj(338B)
----XUnitTest()
--------TestGitHubParser.cs(11KB)
--------Mocks()
--------TestGitHubScraperService.cs(4KB)
--------XUnitTest.csproj(769B)
----.dockerignore(316B)
----LICENSE(1KB)
----WebScraping.sln(6KB)
----CrossCutting.IoC()
--------DependencyContext.cs(601B)
--------DependencyContextSettings.cs(847B)
--------DependencyContextDataInfrastructure.cs(2KB)
--------CrossCutting.IoC.csproj(1KB)
--------DependencyContextApplication.cs(567B)
--------DependencyContextDomain.cs(536B)
----README.md(8KB)
----Domain()
--------Services()
--------Dom()
--------Domain.csproj(549B)
----Application()
--------Application.csproj(300B)
--------Services()
--------Common()
----Procfile(8B)
----CrossCutting()
--------Extensions()
--------CrossCutting.csproj(605B)
----Api()
--------Program.cs(938B)
--------Api.csproj(690B)
--------appsettings.Development.json(159B)
--------Controllers()
--------appsettings.json(676B)
--------Startup.cs(2KB)
--------Handlers()
--------Properties()
----Domain.Shared()
--------Dto()
--------Domain.Shared.csproj(225B)
--------Configuration()