文件名称:C#版本的网络爬虫,抓取网络资源
文件大小:1.21MB
文件格式:ZIP
更新时间:2013-05-06 10:45:41
网络爬虫 采集 抓取
C#版本的网络爬虫,抓取网络资源 经过一些改进,如果想采集新闻、BBS等,还需要做一些解析规则
【文件预览】:
WebSpider
----Spider()
--------DownloadedResourceInformation.cs(9KB)
--------ResourceParser.cs(8KB)
--------DownloadProxyUsage.cs(741B)
--------ResourceDownloader.cs(9KB)
--------ResourceInformation.cs(11KB)
--------ResourceStorer.cs(4KB)
--------UriType.cs(691B)
--------LinkElement.cs(3KB)
--------WebSiteDownloaderOptions.cs(7KB)
--------SpiderSettings.cs(10KB)
--------ResourceRewriter.cs(4KB)
--------WebSiteDownloader.cs(13KB)
----bin()
--------Debug()
----Properties()
--------AssemblyInfo.cs(2KB)
----WebSpider.csproj(3KB)
----WebSpider.sln(1KB)
----WebSpider.suo(63KB)
References
----Interop.ADODB.dll(100KB)
----ZetaLib.Windows.dll(100KB)
----Interop.JRO.dll(10KB)
----ClickOnceButton.dll(24KB)
----ZetaLib.Web.pdb(168KB)
----ZetaLib.Core.dll(356KB)
----ZetaLib.Web.dll(76KB)
----log4net.dll(264KB)
----ICSharpCode.SharpZipLib.dll(196KB)
----de()
--------ZetaLib.Web.resources.dll(6KB)
--------ZetaLib.Core.resources.dll(8KB)
--------ZetaLib.Windows.resources.dll(5KB)
----SgmlReader Customized()
--------_ReSharper.SgmlReader8()
--------Readme.css(4KB)
--------eula.htm(16KB)
--------TestSuite()
--------download.gif(151B)
--------sgmlreader.src(132B)
--------SgmlReader8.sln(2KB)
--------CommandLine()
--------SgmlReader8.resharper(902B)
--------Readme.htm(15KB)
--------SgmlReader8.suo(26KB)
--------sgmlreaderdll()
--------Demo.aspx(2KB)
--------SgmlReader8.resharper.user(940B)
----ZetaLib.Core.pdb(974KB)
----ZetaLib.Windows.pdb(158KB)
----BusyBarLib.dll(92KB)
WebSpiderTest
----bin()
--------Debug()
----Properties()
--------AssemblyInfo.cs(1KB)
----Program.cs(2KB)
----WebSpiderTest.csproj(2KB)