多线程爬虫与Elasticsearch搜索引擎实战

时间:2024-06-17 12:03:19
【文件属性】:

文件名称:多线程爬虫与Elasticsearch搜索引擎实战

文件大小:5.42MB

文件格式:ZIP

更新时间:2024-06-17 12:03:19

Java Elasticsearch

版本1: 用Java编写一个多线程爬虫,完成HTTP请求、HTML解析等工作,得到数据后放入H2数据库中,借助Flyway将建表、添加原始数据的工作等(自动化) 使用Maven进行包管理,使用CircleCI进行自动化测试,在生命周期绑定 Checkstyle、SpotBugs 插件保证代码质量 版本2:使用ORM(对象关系映射)重构,使用MyBatis框架 版本3:通过flyway插件迁移数据,将数据从H2 数据库迁移到MySQL数据库 版本4:将主函数从爬虫类中抽取出,形成新的类,方便调用爬虫线程 版本5:借助Elasticsearch编写一个简单的搜索程序


【文件预览】:
Project-Crawler-Elasticsearch
----Project-Crawler-Elasticsearch-main.zip(3.24MB)
----NEWS.sql(6.08MB)

网友评论