众所周知,elasticsearch简称es,它是基于基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。
在java中使用es时,无非想解决的是查询速度不够快,效率不够高问题,单一从数据库里查询数据已经不能拿满足当前的业务需求,ok!那么现在我们来讲述一下如何在java中使用到es这个神奇的搜索服务器呢,首先,你得要去引用es的依赖包,依赖如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
< dependency >
< groupId >org.elasticsearch.client</ groupId >
< artifactId >transport</ artifactId >
< version >5.5.0</ version >
</ dependency >
< groupId >org.elasticsearch.client</ groupId >
< artifactId >transport</ artifactId >
< version >5.5.0</ version >
</ dependency >
< dependency >
< groupId >org.elasticsearch</ groupId >
< artifactId >elasticsearch</ artifactId >
< version >5.5.0</ version >
</ dependency >
|
好的,添加完依赖之后,进入到es使用阶段,对了,有个问题得需要说明一下,要使用es的话需要安装jdk1.8工具包并且tomcat最好是7.05以上的版本,不然es会不支持,集成到项目里面可能会报错!,还有es的安装和下载,这里附下载地址下载地址:https://www.elastic.co/downloads/elasticsearch
一切准备就绪后接下来进入到我们真正期待的时刻,什么呢,没错,集成es,究竟如何在java里面搜索查询es服务器里面的东西呢,让我一一来为你揭晓:
首先我们建议一个es的工具类
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
|
package com.osa.utils;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLEncoder;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import org.apache.http.client.ClientProtocolException;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONException;
import com.alibaba.fastjson.JSONObject;
public class HTTPSentUtils {
/**
* 向指定URL发送GET方法的请求
*
* @param url
* 发送请求的URL
* @param param
* 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。
* @return URL 所代表远程资源的响应结果
*/
public static String sendGet(String url, String param) {
String result = "" ;
BufferedReader in = null ;
try {
String urlNameString = url + "?" + param;
URL realUrl = new URL(urlNameString);
// 打开和URL之间的连接
URLConnection connection = realUrl.openConnection();
// 设置通用的请求属性
connection.setRequestProperty( "accept" , "*/*" );
connection.setRequestProperty( "connection" , "Keep-Alive" );
connection.setRequestProperty( "user-agent" ,
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)" );
// 建立实际的连接
connection.connect();
// 获取所有响应头字段
Map<String, List<String>> map = connection.getHeaderFields();
// 遍历所有的响应头字段
for (String key : map.keySet()) {
System.out.println(key + "--->" + map.get(key));
}
// 定义 BufferedReader输入流来读取URL的响应
in = new BufferedReader( new InputStreamReader(
connection.getInputStream()));
String line;
while ((line = in.readLine()) != null ) {
result += line;
}
} catch (Exception e) {
System.out.println( "发送GET请求出现异常!" + e);
e.printStackTrace();
}
// 使用finally块来关闭输入流
finally {
try {
if (in != null ) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
}
return result;
}
/**
* 向指定 URL 发送POST方法的请求
*
* @param url
* 发送请求的 URL
* @param param
* 请求参数,请求参数应该是 name1=value1&name2=value2 的形式。
* @return 所代表远程资源的响应结果
*/
public static String sendPost(String url, String param) {
PrintWriter out = null ;
BufferedReader in = null ;
String result = "" ;
try {
URL realUrl = new URL(url);
// 打开和URL之间的连接
URLConnection conn = realUrl.openConnection();
// 设置通用的请求属性
conn.setRequestProperty( "accept" , "*/*" );
conn.setRequestProperty( "connection" , "Keep-Alive" );
conn.setRequestProperty( "user-agent" ,
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)" );
// 发送POST请求必须设置如下两行
conn.setDoOutput( true );
conn.setDoInput( true );
// 获取URLConnection对象对应的输出流
out = new PrintWriter(conn.getOutputStream());
// 发送请求参数
out.print(param);
// flush输出流的缓冲
out.flush();
// 定义BufferedReader输入流来读取URL的响应
in = new BufferedReader(
new InputStreamReader(conn.getInputStream()));
String line;
while ((line = in.readLine()) != null ) {
result += line;
}
} catch (Exception e) {
System.out.println( "发送 POST 请求出现异常!" +e);
e.printStackTrace();
}
//使用finally块来关闭输出流、输入流
finally {
try {
if (out!= null ){
out.close();
}
if (in!= null ){
in.close();
}
}
catch (IOException ex){
ex.printStackTrace();
}
}
return result;
}
}
|
工具类有了之后,可以看到里面有两个发送请求的方法,一个是sendGet和sendPost方法,两个方法可以基于自己的选择选用,当然这只是个发送请求的方法,如何调用?在这里的话,我们既然是从es里面查询,就没有必要使用mybatis或者hibernate框架了,可以在数据层中,自己定义sql,然后将sql将拼好的sql通过前面的工具类调用sendGet/sendPost方法,如下:
String sql=URLEncoder.encode(" select * from table");encode方法主要是去除sql里面的一些空格
String result=HTTPSentUtils.sendGet("http://221.124.71.8:9200/_sql", "sql="+sql);ip加端口自己可以在安装的时候配置
OK!一般到这个时候的发送可以成功的话,就能取到es里面的数据,因为es里面返回的都是json数据,所以我们
格式化一下json字符串
1
2
3
|
net.sf.json.JSONObject jsonObject =net.sf.json.JSONObject.fromObject(result);
//取出hits标签
net.sf.json.JSONObject hitsjsonObject = jsonObject.getJSONObject( "hits" );
|
数据拿到之后,结下来就是业务操作了。到这里也差不多结束了。
以上是查询的一些操作,那么如果我们需要将数据批量插入到es里面该如何操作?举个例子吧
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
package com.sojson.core.elasticsearch.manager;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import net.sf.json.JSONObject;
import org.elasticsearch.action.bulk.BulkRequestBuilder;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequestBuilder;
import com.sojson.common.utils.StringUtils;
import com.sojson.core.elasticsearch.utils.ESTools;
publicclassInsertManager{
/**
* 添加数据到Elasticsearch
*@param index 索引
*@param type 类型
*@param idName Id字段名称
*@param json 存储的JSON,可以接受Map
*@return
*/
publicstaticMapsave(String index,String type,String idName,JSONObject json){
List list =newArrayList();
list.add(json);
return save(index, type, idName, list);
}
|
通过传来的参数进行处理调用save方法执行插入es操作
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
/**
* 添加数据到Elasticsearch
*@param index 索引
*@param type 类型
*@param idName Id字段名称
*@param listData 一个对象集合
*@return
*/
@SuppressWarnings ( "unchecked" )
publicstaticMapsave(String index,String type,String idName,List listData){
BulkRequestBuilder bulkRequest =ESTools.client.prepareBulk().setRefresh( true );
Map resultMap =newHashMap();
for (Object object: listData){
JSONObject json =JSONObject.fromObject(object);
//没有指定idName 那就让Elasticsearch自动生成,
if (StringUtils.isBlank(idName)){
IndexRequestBuilder lrb =ElasticsearchUtils.client
.prepareIndex(index, type)
.setSource(json);
bulkRequest.add(lrb);
//ElasticsearchUtils是工具类,里面配置的是一些es配置信息
}
else {
String idValue = json.optString(idName);
IndexRequestBuilder lrb =ESTools.client.prepareIndex(index, type,idValue).setSource(json);
bulkRequest.add(lrb);
}
}
BulkResponse bulkResponse = bulkRequest.execute().actionGet();
if (bulkResponse.hasFailures()){
// process failures by iterating through each bulk response item
System.out.println(bulkResponse.getItems().toString());
resultMap.put( "500" , "保存ES失败!" );
return resultMap;
}
bulkRequest=ESTools.client.prepareBulk();
resultMap.put( "200" , "保存ES成功!" );
return resultMap;
}
}
|
ElasticsearchUtils工具类
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
public class ElasticsearchUtils {
private static final String CLUSTER_NAME = "cluster.name" ;
private static final String ES_IP= "es.ip" ;
private static final String ES_PORT= "es.port" ;
private static Settings settings;
private static TransportClient client;
public static TransportClient getESClient() throws UnknownHostException{
settings = Settings.builder().put(CLUSTER_NAME,ConfigUtils.getConfig(CLUSTER_NAME)).build();
if (client != null ){
client = new PreBuiltTransportClient(settings).addTransportAddress( new InetSocketTransportAddress(InetAddress.getByName(ConfigUtils.getConfig(ES_IP)), Integer.parseInt(ConfigUtils.getConfig(ES_PORT))));
}
return client;
}
|
以上是插入es操作,好了,今天的总结就到这里吧,希望可以给大家带来一些小小的帮助,也希望大家多多支持服务器之家。
原文链接:http://blog.csdn.net/weixin_37684345/article/details/78953233