文件名称:C# 网页爬虫 可整站爬取
文件大小:745KB
文件格式:RAR
更新时间:2022-11-09 04:06:45
爬虫 c#
C# 网页爬虫,针对一个网站,爬取解析出的所有的超链接,以实现所有站点资源的下载。 本代码是在以为大神的基础上经过修改而成。
【文件预览】:
Models
----Hotel.cs(317B)
----City.cs(385B)
bin
----Release()
----Debug()
--------WebCrawler.exe(18KB)
--------WebCrawler.pdb(38KB)
--------Wesley.Crawler.SimpleCrawler.pdb(48KB)
--------Wesley.Crawler.SimpleCrawler.exe(22KB)
--------2019-10-20.log(14KB)
ICrawler.cs
SimpleCrawler.cs
Images
----5.并发抓取示例.png(36KB)
----4.抓取城市下的酒店列表.png(68KB)
----1.携程网城市列表.png(456KB)
----3.使用正则清洗数据.png(58KB)
----2.抓取网页源代码.png(58KB)
Program.cs
obj
----Debug()
--------WebCrawler.csproj.FileListAbsolute.txt(312B)
--------WebCrawler.exe(18KB)
--------TemporaryGeneratedFile_036C0B5B-1481-4323-8D20-8F5ADCB23D92.cs(0B)
--------WebCrawler.pdb(38KB)
--------Wesley.Crawler.SimpleCrawler.pdb(48KB)
--------Wesley.Crawler.SimpleCrawler.csprojAssemblyReference.cache(8KB)
--------Wesley.Crawler.SimpleCrawler.csproj.FileListAbsolute.txt(1KB)
--------DesignTimeResolveAssemblyReferencesInput.cache(7KB)
--------TemporaryGeneratedFile_5937a670-0e60-4077-877b-f7221da3dda1.cs(0B)
--------Wesley.Crawler.SimpleCrawler.exe(22KB)
--------TempPE()
--------TemporaryGeneratedFile_E7A71F73-0F8D-4B9B-B56E-8E70B10BC5D3.cs(0B)
--------WebCrawler.csproj.CoreCompileInputs.cache(42B)
--------Wesley.Crawler.SimpleCrawler.csproj.CoreCompileInputs.cache(42B)
--------WebCrawler.csprojAssemblyReference.cache(12KB)
WebCrawler.sln
WebCrawler.csproj
App.config
Events
----OnErrorEventArgs.cs(427B)
----OnCompletedEventArgs.cs(822B)
----OnStartEventArgs.cs(407B)
Properties
----AssemblyInfo.cs(1KB)
LogHelper.cs