文件名称:分布式爬虫
文件大小:426KB
文件格式:RAR
更新时间:2015-09-19 04:41:30
分布式 爬虫 MSMQ 数据库
代码实现了简单的分布式爬虫框架,爬虫间通讯用的是MSMQ,网页内容存储于Access数据库,也可选择注释部分的存储于硬盘。分布式爬虫用的是集中式管理
【文件预览】:
Mycrawler_latest
----Mycrawler.suo(85KB)
----Mycrawler_01()
--------FormCrawler1.resx(6KB)
--------Program.cs(500B)
--------Mycrawler_01.csproj(4KB)
--------Properties()
--------FormCrawler1.cs(14KB)
--------obj()
--------bin()
--------FormCrawler1.designer.cs(3KB)
--------MymessageQueue.cs(4KB)
----VisualStudio.postbuild(11KB)
----Mycrawler.xaddin(269B)
----crawler.accdb(5.52MB)
----ManCenter()
--------FormMan.resx(6KB)
--------Program.cs(492B)
--------FormMan.designer.cs(7KB)
--------FormMan.cs(6KB)
--------Properties()
--------obj()
--------ManCenter.csproj(4KB)
--------bin()
--------MymessageQueue.cs(4KB)
----Mycrawler_01.xaddin(266B)
----crawler2003.mdb(104KB)
----Mycrawler.sln(2KB)
----Mycrawler_02()
--------FormCrawler2.designer.cs(3KB)
--------Program.cs(500B)
--------Mycrawler_02.csproj(4KB)
--------Properties()
--------FormCrawler2.cs(12KB)
--------FormCrawler2.resx(6KB)
--------obj()
--------bin()
--------MymessageQueue.cs(4KB)
----Xenocode()
--------Mycrawler_01.exe(0B)
--------ManCenter.exe(0B)