008-elasticsearch5.4.3【二】ES使用、ES客户端、索引操作【增加、删除】、文档操作【crud】

时间：2023-03-10 01:36:38
008-elasticsearch5.4.3【二】ES使用、ES客户端、索引操作【增加、删除】、文档操作【crud】

一、ES使用，以及客户端

1、pom引用

<dependency>

    <groupId>org.elasticsearch.client</groupId>

    <artifactId>transport</artifactId>

    <version>5.4.3</version>

</dependency>

如果测试@Test还需增加一下

        <dependency>

            <groupId>org.elasticsearch.plugin</groupId>

            <artifactId>transport-netty4-client</artifactId>

            <version>5.4.3</version>

        </dependency>

        <dependency>

            <groupId>org.elasticsearch.client</groupId>

            <artifactId>transport</artifactId>

            <version>5.4.3</version>

        </dependency>

2、日志添加

同时需要添加日志包引用log4j

<dependency>

    <groupId>org.apache.logging.log4j</groupId>

    <artifactId>log4j-api</artifactId>

    <version>2.8.2</version>

</dependency>

<dependency>

    <groupId>org.apache.logging.log4j</groupId>

    <artifactId>log4j-core</artifactId>

    <version>2.8.2</version>

</dependency>

或者使用slf4j

<dependency>

    <groupId>org.apache.logging.log4j</groupId>

    <artifactId>log4j-to-slf4j</artifactId>

    <version>2.8.2</version>

</dependency>

<dependency>

    <groupId>org.slf4j</groupId>

    <artifactId>slf4j-api</artifactId>

    <version>1.7.24</version>

</dependency>

github地址：URL

二、index索引操作

常用查看

查看集群健康：http://127.0.0.1:9200/_cat/health?v

查看集群节点：http://127.0.0.1:9200/_cat/nodes?v

查看索引信息：http://127.0.0.1:9200/_cat/indices?v

　　Elasticsearch提供了一个完整的Java API来处理管理任务。要访问它们，您需要从客户端调用admin（）方法以获取AdminClient：

AdminClient adminClient = client.admin();

2.1、java API 索引的创建

方式一、自动创建索引

　　需要在elasticsearch中创建自动索引，配置yml

action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*,app-a-*,app-b-*

方式二、手工创建索引及基本操作

索引：要访问索引Java API，您需要从AdminClient调用indices（）方法：

IndicesAdminClient indicesAdminClient = client.admin().indices();

基础帮助类【客户端、增加索引、删除索引、是否存在索引】

文档地址：https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.4/java-docs.html

索引API允许将类型化的JSON文档索引到特定索引中并使其可搜索。

查看github文档中的索引映射操作

使用header工具查看索引：http://localhost:9200/twitter_index/_mapping/tweet_type

2.2、生成json操作

　　es操作多半使用nosql操作，即一般使用json格式字符串。

注意：在内部，每种类型都转换为byte []（因此String转换为byte []）。因此，如果对象已经是这种形式，那么使用它。 jsonBuilder是高度优化的JSON生成器，可直接构造byte []。

方式一、自己写一个json String或者json byte[]

String json = "{" +

        "\"user\":\"kimchy\"," +

        "\"postDate\":\"2013-01-30\"," +

        "\"message\":\"trying out Elasticsearch\"" +

    "}";

　　注意：如果有日期类型，需要进行定义格式

方式二、使用能转化成json的map

Map<String, Object> json = new HashMap<String, Object>();

json.put("user","kimchy");

json.put("postDate",new Date());

json.put("message","trying out Elasticsearch");

方式三、使用序列化类库Jackson等

import com.fasterxml.jackson.databind.*;

// instance a json mapper

ObjectMapper mapper = new ObjectMapper(); // create once, reuse

// generate json

byte[] json = mapper.writeValueAsBytes(yourbeaninstance);

方式四、使用内置帮助器XContentFactory.jsonBuilder()

import static org.elasticsearch.common.xcontent.XContentFactory.*;

XContentBuilder builder = jsonBuilder()

    .startObject()

        .field("user", "kimchy")

        .field("postDate", new Date())

        .field("message", "trying out Elasticsearch")

    .endObject()

查看内容

String json = builder.string();

请注意，您还可以使用startArray（String）和endArray（）方法添加数组。顺便说一下，field方法接受许多对象类型。您可以直接传递数字，日期甚至其他XContentBuilder对象。

2.3、操作线程

　　索引API允许设置线程模型，当在同一节点上执行API的实际执行时将执行操作（API在同一服务器上分配的分片上执行）。

　　选项是在不同的线程上执行操作，或者在调用线程上执行它（注意API仍然是异步的）。默认情况下，operationThreaded设置为true，这意味着操作在不同的线程上执行。

更多消息可以参看

三、文档操作

1）Document内容新增

方式一、对应上文方式四

import static org.elasticsearch.common.xcontent.XContentFactory.*;

IndexResponse response = client.prepareIndex("twitter", "tweet", "1")

        .setSource(jsonBuilder()

                    .startObject()

                        .field("user", "kimchy")

                        .field("postDate", new Date())

                        .field("message", "trying out Elasticsearch")

                    .endObject()

                  )

        .get();

方式二、序列化成String

String json = "{" +

        "\"user\":\"kimchy\"," +

        "\"postDate\":\"2013-01-30\"," +

        "\"message\":\"trying out Elasticsearch\"" +

    "}";

IndexResponse response = client.prepareIndex("twitter", "tweet")

        .setSource(json)

        .get();

IndexResponse对象会有一个响应报告

// 索引名

String _index = response.getIndex();

// 类型名

String _type = response.getType();

// 文档ID 主键ID

String _id = response.getId();

// Version (if it's the first time you index this document, you will get: 1)

long _version = response.getVersion();

// status has stored current instance statement.

RestStatus status = response.status();

　　单条记录，批量插入等请参看

4）通过ID查询记录

GetResponse response = client.prepareGet("indexName", "type", "id").get();

默认情况下，operationThreaded设置为true，这意味着操作在不同的线程上执行。这是一个将其设置为false的示例：

GetResponse response = client.prepareGet("twitter", "tweet", "1")

        .setOperationThreaded(false)

        .get();

5)通过ID删除文档数据

DeleteResponse response = client.prepareDelete("twitter", "tweet", "1").get();

默认情况下，operationThreaded设置为true，这意味着操作在不同的线程上执行。这是一个将其设置为false的示例：

DeleteResponse response = client.prepareDelete("twitter", "tweet", "1")

        .setOperationThreaded(false)

        .get();

6）根据条件删除记录

BulkByScrollResponse response =

    DeleteByQueryAction.INSTANCE.newRequestBuilder(client)

        .filter(QueryBuilders.matchQuery("gender", "male"))  //query

        .source("persons")                                  //index

        .get();                                                  // excute 

long deleted = response.getDeleted();                // number

因为它可以是一个长时间运行的操作，如果你想异步地执行它，你可以调用execute而不是get并提供一个监听器，如：

DeleteByQueryAction.INSTANCE.newRequestBuilder(client)

    .filter(QueryBuilders.matchQuery("gender", "male"))

    .source("persons")

    .execute(new ActionListener<BulkIndexByScrollResponse>() {   //listener

        @Override

        public void onResponse(BulkIndexByScrollResponse response) {

            long deleted = response.getDeleted();

        }

        @Override

        public void onFailure(Exception e) {

            // Handle the exception

        }

    });

7）通过ID更新

方式一、通过UpdateRequest

UpdateRequest updateRequest = new UpdateRequest();

updateRequest.index("index");

updateRequest.type("type");

updateRequest.id("1");

updateRequest.doc(jsonBuilder()

        .startObject()

            .field("gender", "male")

        .endObject());

client.update(updateRequest).get();

方式二、prepareUpdate方法

脚本方式

client.prepareUpdate("ttl", "doc", "1")

        .setScript(new Script("ctx._source.gender = \"male\""  , ScriptService.ScriptType.INLINE, null, null))

        .get();

关于脚本：它也可以是本地存储的脚本名称。在这种情况下，您需要使用ScriptService.ScriptType.FILE

doc方式

client.prepareUpdate("ttl", "doc", "1")

        .setDoc(jsonBuilder()

            .startObject()

                .field("gender", "male")

            .endObject())

        .get();

更新API还支持传递部分文档，该部分文档将合并到现有文档中（简单的递归合并，对象的内部合并，替换核心“键/值”和数组）。例如：

选用其中一种即可，无法同时提供脚本和doc。

8）upsert 更新插入

对upsert的支持。如果文档不存在，则upsert元素的内容将用于索引新文档：

IndexRequest indexRequest = new IndexRequest("index", "type", "1")

        .source(jsonBuilder()

            .startObject()

                .field("name", "Joe Smith")

                .field("gender", "male")

            .endObject());

UpdateRequest updateRequest = new UpdateRequest("index", "type", "1")

        .doc(jsonBuilder()

            .startObject()

                .field("gender", "male")

            .endObject())

        .upsert(indexRequest);

client.update(updateRequest).get();

如果文档不存在，将添加indexRequest中的文档

9）多ID获取

MultiGetResponse multiGetItemResponses = client.prepareMultiGet()

    .add("twitter", "tweet", "1")

    .add("twitter", "tweet", "2", "3", "4")

    .add("another", "type", "foo")

    .get();

for (MultiGetItemResponse itemResponse : multiGetItemResponses) {

    GetResponse response = itemResponse.getResponse();

    if (response.isExists()) {

        String json = response.getSourceAsString();

    }

}

10）批量插入API

import static org.elasticsearch.common.xcontent.XContentFactory.*;

BulkRequestBuilder bulkRequest = client.prepareBulk();

// either use client#prepare, or use Requests# to directly build index/delete requests

bulkRequest.add(client.prepareIndex("twitter", "tweet", "1")

        .setSource(jsonBuilder()

                    .startObject()

                        .field("user", "kimchy")

                        .field("postDate", new Date())

                        .field("message", "trying out Elasticsearch")

                    .endObject()

                  )

        );

bulkRequest.add(client.prepareIndex("twitter", "tweet", "2")

        .setSource(jsonBuilder()

                    .startObject()

                        .field("user", "kimchy")

                        .field("postDate", new Date())

                        .field("message", "another post")

                    .endObject()

                  )

        );

BulkResponse bulkResponse = bulkRequest.get();

if (bulkResponse.hasFailures()) {

    // process failures by iterating through each bulk response item

}

11）批量操作API

BulkProcessor类提供了一个简单的接口，可根据请求的数量或大小自动刷新批量操作，或者在给定时间段之后。

https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.4/java-docs-bulk-processor.html

以上示例代码：https://github.com/bjlhx15/spring-cloud-base/tree/master/service6-es/service2-es-client/src/test/java/com/github/bjlhx15/servicees