文件名称:word源码java-search_engine_ssm:search_engine_ssm
文件大小:4.07MB
文件格式:ZIP
更新时间:2024-06-25 16:55:07
系统开源
word源码java 小组名称 caviar 小组成员 项目名称 小红书笔记搜索引擎web应用开发 项目背景 利用小红书针对关键词杭州的日志进行重新编排,提供搜索与推荐功能。 运行环境 # 软件 ubuntu 18.04 java 1.8 hadoop 2.9.2 hbase 1.4.9 kafka 2.11.0-1.0.0 spark 2.4.0 redis 5.0 # 开启hdfs start-dfs.sh # 开启hbase start-hbase.sh # 开启api支持 hbase-daemon.sh start thrift # 开启kafka bin/kafka-server-start.sh config/server.properties # 使用spark spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.1.0 ~/Desktop/user-process.py 技术实现概览 规范:大部分采用restful原则进行开发 爬虫: 后端: SSM(用户数据存入mysql