文件名称：spider:Java编写的一个简单分布式爬虫
文件大小：239KB
文件格式：ZIP
更新时间：2024-07-11 12:57:05
Java
spider fork from 更新：解决原项目在eclipse依赖问题，不需要再次手动配置。 a simple distributed spider in Java. Java编写的一个简单分布式爬虫.支持模板插件化，以xml形式或java编码形式编写。 第一步： 安装java环境与mysql数据库（任务、日志、结果存储） 第二步： 编译代码 第三步： 修改config下的config.ini文件 user、pwd、url、driver分别为数据库连接相关字段 saveOneTable=0表示会根据域名不同存储在不同的表中（tieba.baidu.com） saveOneTable=1表示全部存储在conversation表中。 第四步： 可以启动服务端以及客户端了。 服务端： java com.zhangwoo.spider.server.TaskCenter 任务中心 java c
【文件预览】：
spider-master
----pom.xml(2KB)
----WebContent()
--------META-INF()
----.settings()
--------org.eclipse.m2e.core.prefs(86B)
--------org.eclipse.wst.jsdt.ui.superType.name(6B)
--------org.eclipse.wst.common.project.facet.core.xml(245B)
--------org.eclipse.wst.common.component(644B)
--------org.eclipse.wst.jsdt.ui.superType.container(49B)
--------.jsdtscope(491B)
--------org.eclipse.jdt.core.prefs(422B)
----src()
--------test()
--------main()
----.project(1KB)
----db.sql(2KB)
----.classpath(1KB)
----.gitignore(8B)
----README.md(1KB)