文件名称:多线程爬虫与Elasticsearch搜索引擎实战
文件大小:5.42MB
文件格式:ZIP
更新时间:2024-06-17 12:03:19
Java Elasticsearch
版本1: 用Java编写一个多线程爬虫,完成HTTP请求、HTML解析等工作,得到数据后放入H2数据库中,借助Flyway将建表、添加原始数据的工作等(自动化) 使用Maven进行包管理,使用CircleCI进行自动化测试,在生命周期绑定 Checkstyle、SpotBugs 插件保证代码质量 版本2:使用ORM(对象关系映射)重构,使用MyBatis框架 版本3:通过flyway插件迁移数据,将数据从H2 数据库迁移到MySQL数据库 版本4:将主函数从爬虫类中抽取出,形成新的类,方便调用爬虫线程 版本5:借助Elasticsearch编写一个简单的搜索程序
【文件预览】:
Project-Crawler-Elasticsearch
----Project-Crawler-Elasticsearch-main.zip(3.24MB)
----NEWS.sql(6.08MB)