大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作

时间:2024-10-22 17:38:38


点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(正在更新…)

章节内容

上节我们完成了如下的内容:

  • Elasticsearch 索引操作
  • IK 分词器安装上使用
  • 自定义分词

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_elasticsearch

映射操作

索引创建之后,等于有了关系型数据库中的Database,Elasticsearch7.x取消了索引type类型的设置,不允许指定类型,默认为_doc,但字段仍然是有的,我们需要设置字段的约束信息,叫做字段映射(mapping)
字段的约束包括但不限于:

  • 字段的数据类型
  • 是否要存储
  • 是否要索引
  • 分词器

创建映射字段

语法:

PUT /索引名/_mapping
{
  "properties": {
    "字段名": {
      "type": "数据类型",
      "index": true,
      "store": false,
      "analyzer": "分词器"
    }
  }
}

上述内容解释如下:

  • type 类型,可以是 text、long、short、date等等
  • index 是否为索引 默认为true
  • store 是否存储 默认为false
  • analyzer 分词器

示例:

# 新建索引
PUT /wzkicu-index
# 映射关系
PUT /wzkicu-index/_mapping/
{
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "job": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "logo": {
      "type": "keyword",
      "index": "false"
    },
    "payment": {
      "type": "float"
    }
  }
}

运行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_全文检索_02


上图中,包含的字段如下所示,并且加了一些属性:

  • name 企业名称
  • job 需求岗位
  • logo logo图片地址
  • payment 薪资

映射属性详解

支持的类型非常的多,可以访问对应的文档进行查看:

https://www.elastic.co/guide/en/elasticsearch/reference/8.15/mapping-types.html

对应的页面如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_大数据_03


这里有几种:

  • String类型:text可分词,不可参与聚合。keyword不可分词,作为完整字段进行分配,可以参与聚合。
  • Numerical类型:数值类型、分两类,基本数据类型、浮点数的高精度类型
  • Date:日期类型,ES可以对日期格式化字符串存储,但是建议我们存储为毫秒值、存储为long、节省空间。
  • Array 数组类型,进行匹配时,任意一个元素满足,都认为满足。排序时,如果升序则用数组中最小值来排序,如果降序则用数组中的最大值来排序
  • Object对象,{ name: “jack”, age: 21, girl: {name: “Rose”, age: 21}},如果存储到索引库是对象类型,例如上面的girl,会把girl变成girl.name和girl.age
  • index,true字段会被索引,则可以用来进行搜索,默认值就是true。false字段不会被索引,不能用来搜索。比如LOGO的图片地址,这种不需要索引,就可以设置为False。
  • store,是否将数据进行独立存储,原始的文本存储在 _source里面,默认情况下其他提取出来的字段都不是独立存储的,是从_source里面提取出来的。当然你也可以独立的存储某个字段,只要设置store:true即可,获取独立存储的字段要比_source中解析快得多,但是也会占用更多的空间,所以要根据实际业务需要来设置,默认为false
  • analyzer:指定分词器 一般使用IK分词器 ik_max_word ik_smart

查看映射关系

单个映射关系
语法:

GET /索引名称/_mapping

示例:

GET /wzkicu-index/_mapping

执行的结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_搜索引擎_04

所有映射关系

语法:

GET _mapping
GET _all/_mapping

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_elasticsearch_05

修改映射关系

PUT /索引库名/_mapping
{
  "properties": {
    "字段名": {
      "type": "类型",
      "index": true,
      "store": true,
      "analyzer": "分词器"
    }
  }
}

主要注意的是:修改映射只能是增加字段的操作,其他的更改只能删除索引重新建立索引来实现。

一次性建立索引与映射

实际上创建索引和映射是可以放到一起来做的, 在创建索引的同时,直接指定映射。

PUT /索引库名称
{
  "settings":{
    "索引库属性名":"索引库属性值"
  },
  "mappings":{
    "properties":{
      "字段名":{
        "映射属性名":"映射属性值"
      }
    }
  }
}

案例:

PUT /wzk-index
{
  "settings": {},
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_大数据_06

文档增删改查与局部更新

文档,即索引库中的数据,会根据规则创建索引,将用来搜索,可以类比做数据库中的一行数据。

新增文档

新增文档时,涉及到的ID的创建方式,手动指定或者自动生成。

手动新增

POST /索引名称/_doc/{id}

示例:

POST /wzkicu-index/_doc/1
{"name" : "百度",
  "job" : "小度用户运营经理",
  "payment" : "30000",
  "logo" : ""
}

POST /wzkicu-index/_doc/2
{"name" : "百度",
  "job" : " 百度用户运营经理",
  "payment" : "50000",
  "logo" : ""
}

执行的结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_搜索引擎_07

自动新增

语法:

POST /索引名称/_doc
{
  "field": "value"
}

示例:

POST /wzkicu-index/_doc
{
  "name" : "百度",
  "job" : " 百度测试",
  "payment" : "20000",
  "logo" : ""
}

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_搜索引擎_08

查询文档

单个文档

语法:

GET /索引名称/_doc/{id}

示例:

GET /wzkicu-index/_doc/1

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_全文检索_09


对返回的结果的格式解释如下:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_搜索引擎_10

所有文档

语法:

POST /索引名称/_search

示例:

POST /wzkicu-index/_search
{
  "query":{
    "match_all": {
    }
  }
}

测试运行的结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_elasticsearch_11

定制返回字段

很多业务场景下,我们不需要返回这么多字段:
示例:

GET /wzkicu-index/_doc/1?_source=name,job

执行结果如下图所示,可以看到根据需要,只返回了 name 和 job:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_全文检索_12

更新文档

全部更新

新增方式相同,只不过新增是POST,而更新是PUT,而且修改必须指定ID才可以。

  • id对应的文档存在,则修改
  • id对应的文档不存在,则新增
PUT /wzkicu-index/_doc/5
{
  "name" : "百度",
  "job" : " 百度测试",
  "payment" : "20000",
  "logo" : ""
}

第一次执行,可以看到右侧是:created:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_elasticsearch_13


再执行一次,可以看到右侧是:updated:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_elasticsearch_14

局部更新

ES可以使用PUT或者POST进行更新,如果指定ID存在,则执行更新操作。
注意:

  • ES执行更新操作的时候,ES是先将旧的标记为删除,再添加新的文档。
  • 旧的文档不会立即消失,但是你也无法访问,ES会在添加更多数据的时候,后台清理已经标记为删除的数据。
    全部更新是直接把之前的老数据,标记为删除状态,然后再添加一条更新的数据(PUT或者POST),局部更新,只是修改某个字段(POST)。
POST /索引名/_update/{id}
{
  "doc":{
    "field":"value"
  }
}

示例:

POST /wzkicu-index/_update/2
{
  "doc":{
    "name":"淘宝"
  }
}

执行的结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_大数据_15

删除文档

ID删除
语法:

DELETE /索引名/_doc/{id}

示例

DELETE /wzkicu-index/_doc/3

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_json_16

条件删除

语法:

POST /索引名/_delete_by_query
{
  "query": {
    "match": {
      "字段名": "搜索关键字"
    }
  }
}

示例:

# 查询一下 包含百度关键字的
POST /wzkicu-index/_search
{
  "query":{
    "match":{
      "name":"百度"
    }
  }
}

# 删除name字段为百度的doc
POST /wzkicu-index/_delete_by_query
{
  "query":{
    "match":{
      "name":"百度"
    }
  }
}

执行结果如下图所示:

大数据-173 Elasticsearch 索引操作 增删改查 详细 JSON 操作_json_17

删除所有

POST /索引名/_delete_by_query
{
  "query": {
    "match_all": {}
  }
}