文件名称：Keenbo:搜寻器和搜寻引擎
文件大小：1.34MB
文件格式：ZIP
更新时间：2024-06-15 08:31:15
Java
肯博 一个简单易用的搜索引擎来搜索数据。 项目由不同的模块组成： 搜寻器：搜寻页面并保存在数据库中 搜索引擎：对存储的数据进行搜索的API 前提取器：运行mapreduce以计算网站的传入链接，以获得更好的结果 入门 为了你自己的本地计算机或服务器上运行这个项目，你应该安装和和和和。 先决条件 要为该项目安装依赖项，请阅读并根据您的服务器正确配置它。 跑步 对于正在运行的应用程序，可以在bin文件夹中使用.sh文件。 运行测试 使用以下命令测试所有项目： mvn test 建于 Spark-用于运行mapreduces Kafka-用于处理链接队列 ElasticSearch-用于运行搜索查询 Redis-用于检查重复的页面 HBase-用于存储数据 DropWizard-用于监视 JSoup-用于解析页面 咖啡因-用于存储请求的网址以礼貌地发送请求 Jackson-用于序列