ElasticSearch(1)-入门

下一篇 Elastic Search基础(2)

相关文档：

Gitbook[中文未完整]: http://learnes.net/

Gitbook[英文完整]:https://allen8807.gitbooks.io/elasticsearch-definitive-guide-en/content/

权威指南: http://es.xiaoleilu.com/

官网: https://www.elastic.co/guide/index.html

官网API：https://www.elastic.co/guide/en/elasticsearch/reference/1.7/index.html

一、ES介绍

1、什么是es?

Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。但是 Lucene 只是一个框架，要充分利用它的功能，你需要使用 JAVA，并且在你的程序中集成 Lucene。更糟的是，你需要做很多的学习了解，才能明白它是如何运行的，Lucene 确实非常复杂。

当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:

• 分布式实时存储，并将每一个字段都编入索引，使其可以被搜索(准实时，有轻微延迟，1s左右)。
• 实时分析的分布式搜索引擎。
• 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

2、es特性：

• 支持Restful，大量的Restful api
• json风格
• 分布式索引和搜索
• 天然支持shard,replication
• 高性能，易扩展，使用简单

3、ES不仅仅是搜索?

• es是否可以作为一个NOSQL，看上去并不可以，但是这是一个合理的场景。就像MongoDB在MapReduce的基础上使用分片技术同样可以完成部分Hadoop可以做的工作，也就是说一切都和具体场景有关。
• es已经超越了最初的设定角色：一个纯搜索引擎。但这依旧是它的核心，如果你有数百万的文档需要通过关键词进行定位时，Elasticsearch就是最好的选择。如果你仅仅把它当做一个JSON文档，那它就是一个NOSQL数据库，同时支持轻度的数据分析功能。
• 而且，es可以很轻松和hadoop集群。

二、ES中的基础概念

https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html

2.1 Document：文档

• 内容为json格式，它指的是在Elasticsearch中被存储到唯一ID下的由*或者根对象 (root object )序列化而来的JSON.
• 由_index+_type+_id共同决定一个唯一的文档
• _type是一个逻辑概念，并不是物理概念

下面是对三者的详细解释:

(1) _index

　　类似于传统数据库中的"库"-存储并且索引数据的地方

　　在ES中，我们的数据都在分片中被存储以及索引，索引是一个逻辑命名空间，它可以将一个或者多个分片组合在一起。

(2) _type

　　在ES中我们使用同样_type的文档来代表同类，因为它们的数据结构是相同的

　　每一个类型都有自己的mapping或者结构定义，它们定义了当前类型的数据结构，类似于数据表中的列。

　   Documents of all types can be stored in the same index, but the mapping for type tell ES how the data in each document should be indexed.

(3) _id

　　id是一个字符串，当它与_index以及_type组合时，就可以来代表Elasticsearch中一个特定的文档。我们创建了一个新的文档时，你可以自己提供一个_id，或者也可以让Elasticsearch帮你生成一个

2.2 Index：索引

文档通过索引API被索引——存储并使其可搜索。但是最开始我们需要决定我们将文档存储在哪里。正如之前提到的，一篇文档通过_index, _type以及_id来确定它的唯一性。

如果我们的索引叫做"website"，我们的类型叫做 "blog"，然后我们选择"123"作为ID的编号。这时，请求就是这样的：

PUT /website/blog/123
{
  "title": "My first blog entry",
  "text":  "Just trying this out...",
  "date":  "2014/01/01"
}

2.3 分片、高可用、集群、节点

• ES采用的是服务端分片技术，对客户端透明且容易扩展。
• 多个node(es实例)通过cluster(集群名字)自动加入一个集群，每个cluseter有一个master node。
• master node管理集群的变更，例如新建或者删除索引，增加或者移除节点等。master node不会参与文档级别的变更或者搜索，这意味着在流量增长的时候，该主节点不会成为集群的瓶颈。
• 分片(shard) 是 工作单元(worker unit) 底层的一员，它只负责保存索引中所有数据的一小片。在 elasticsearch 中，分片用来分配集群中的数据。把分片想象成一个数据的容器。
• 数据被存储在分片中，然后分片又被分配在集群的节点上。
• 当你的集群扩展或者缩小时，elasticsearch 会自动的在节点之间迁移分配分片，以便集群保持均衡。
• es通过在分片级别实现主从机制来保证高可用，同时服务于搜索和检索这种只读请求。
  • 　　主分片primary shard就是数据的切片，由于是数据存储而不是缓存，primary shard的数目才创建索引时指定且不可更改
  • 　　从分片就是数据的副本，可以随时更改数目。

下面是使用head插件截图，有一个索引bank，下面有0,1,2,3,4共5个主分片，每个分片有1个从分片。

2.4 映射概念：

　　映射类似于数据库中的表结构，每一个索引都有一个映射，它定义了每一个字段类型，以及一个索引范围内的设置。一个映射可以被事先定义，如果没有事先定义，也存储文档的时候ES也会尝试进行自动识别。

　　mapping机制也被ES用于字段分析，每个字段都有一种确定的类型

　　field(字段)则非常好理解，类似于MySQL中列的概念，每个field都有一个类型，这个关系被定义在mapping中。重要的是,ES中，每一个字段都会被索引，因此其查询能力非常的强。

　　source field：默认情况下，document的原始内容被存储在_source中，查询的时候返回的是一个精确的json字符串。

三、安装

依赖于jdk，依赖于java的都好安装，直接解压或者rpm包都可以，略

集群搭建也很简单，一般的方式，同步时间，无ssh密钥通信等.

其配置文件解释的非常详细...

systemctl daemon-reload

systemctl start elasticsearch.service

如果出错JAVA_HOME找不到，可以在/etc/sysconfig/elasticsearch中指定环境变量JAVA_HOME

最近发现2.3版本的集群配置，不仅仅是配置为同一个cluster name，还需要大致修改一下..

# 修改集群名称
cluster.name: cluster_name
# 修改节点名称
node.name: node-01
# 修改绑定IP地址
network.host 0.0.0.0
# 自定义端口
http.port: 9200
# 自动探测同集群节点的Hosts列表
discovery.zen.ping.unicast.hosts: ["192.168.131.129"]
# 组成集群的最少节点数
discovery.zen.minimum_master_nodes: 2

安装插件：

插件集地址: http://www.kailing.pub/article/index/arcid/87.html

　　插件扩展的功能：

　　　　添加自定义的映射类型、自定义分词器、本地脚本、自定义节点发现方式

　　安装：

　　　　直接将plugin放置于插件目录

　　　　使用命令plugin

先安装一些常用的插件:

1. 安装Head，免费

　　./plugin install mobz/elasticsearch-head

2. 安装marvel，收费的，但是官方推荐...

3. 安装分词器ik

　　https://github.com/medcl/elasticsearch-analysis-ik上有源码，因此可以使用源码安装

　　修改默认配置为:index.analysis.analyzer.default.type: ik

四、客户端

1、java客户端：

Elasticsearch为Java用户提供了两种内置客户端：

节点客户端(node client)：

节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。

传输客户端(Transport client)：

这个更轻量的传输客户端能够发送请求到远程集群。它自己不加入集群，只是简单转发请求给集群中的节点。

说明：两个Java客户端都通过9300端口与集群交互，使用Elasticsearch传输协议(Elasticsearch Transport Protocol)。集群中的节点之间也通过9300端口进行通信。如果此端口未开放，你的节点将不能组成集群。

 Tips: Java客户端所在的Elasticsearch版本必须与集群中其他节点一致，否则，它们可能互相无法识别。

2、基于HTTP协议，以JSON为数据交互格式的RESTful API

其他所有程序语言都可以使用RESTful API，通过9200端口的与Elasticsearch进行通信，你可以使用你喜欢的WEB客户端，事实上，如你所见，你甚至可以通过curl命令与Elasticsearch通信。

NOTE

Elasticsearch官方提供了多种程序语言的客户端——Groovy，Javascript， .NET，PHP，Perl，Python，以及 Ruby——还有很多由社区提供的客户端和插件，所有这些可以在文档中找到

向Elasticsearch发出的请求的组成部分与其它普通的HTTP请求是一样的，下面是curl命令说明：

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

• VERB HTTP方法：GET, POST, PUT, HEAD, DELETE
• PROTOCOL http或者https协议（只有在Elasticsearch前面有https代理的时候可用）
• HOST Elasticsearch集群中的任何一个节点的主机名，如果是在本地的节点，那么就叫localhost
• PORT Elasticsearch HTTP服务所在的端口，默认为9200
• PATH API路径（例如_count将返回集群中文档的数量），PATH可以包含多个组件，例如_cluster/stats或者_nodes/stats/jvm
• QUERY_STRING 一些可选的查询请求参数，例如?pretty参数将使请求返回更加美观易读的JSON数据
• BODY 一个JSON格式的请求主体（如果请求需要的话）

五、索引

下面我们以一个实例来演示相关概念

假设我们刚好在Megacorp工作，这时人力资源部门出于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所以它有以下不同的需求：

• 数据能够包含多个值的标签、数字和纯文本。
• 检索任何员工的所有信息。
• 支持结构化搜索，例如查找30岁以上的员工。
• 支持简单的全文搜索和更复杂的短语(phrase)搜索
• 高亮搜索结果中的关键字
• 能够利用图表管理分析这些数据

索引员工文档

我们首先要做的是存储员工数据，每个文档代表一个员工。在Elasticsearch中存储数据的行为就叫做索引(indexing)，不过在索引之前，我们需要明确数据应该存储在哪里。

在Elasticsearch中，文档归属于一种类型(type),而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统关系型数据库：

Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices   -> Types  -> Documents -> Fields

索引不同于数据库的概念

• 索引（名词） 如上文所述，一个索引(index)就像是传统关系数据库中的数据库，它是相关文档存储的地方，index的复数是indices 或indexes。
• 索引（动词） 「索引一个文档」表示把一个文档存储到索引（名词）里，以便它可以被检索或者查询。这很像SQL中的INSERT关键字，差别是，如果文档已经存在，新的文档将覆盖旧的文档。
• 倒排索引 传统数据库为特定列增加一个索引，例如B-Tree索引来加速检索。Elasticsearch和Lucene使用一种叫做倒排索引(inverted index)的数据结构来达到相同目的。

curl -XPUT 'http://localhost:9200/megacorp/employee/1' -d '
{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
'

可以使用head插件查看：

下面使用类似的操作加入更多的信息:

curl -XPUT 'http://localhost:9200/megacorp/employee/2' -d '
{
    "first_name" :  "Jane",
    "last_name" :   "Smith",
    "age" :         32,
    "about" :       "I like to collect rock albums",
    "interests":  [ "music" ]
}
'

curl -XPUT 'http://localhost:9200/megacorp/employee/3' -d '
{
    "first_name" :  "Douglas",
    "last_name" :   "Fir",
    "age" :         35,
    "about":        "I like to build cabinets",
    "interests":  [ "forestry" ]
}
'

六、检索文档

直接使用GET请求，非常简单

[root@ysz211 ~]# curl 'http://localhost:9200/megacorp/employee/1?pretty'
{
  "_index" : "megacorp",
  "_type" : "employee",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "first_name" : "John",
    "last_name" : "Smith",
    "age" : 25,
    "about" : "I love to go rock climbing",
    "interests" : [ "sports", "music" ]
  }
}

Tips: RESTFUL风格的API

我们通过HTTP方法GET来检索文档，同样的，我们可以使用DELETE方法删除文档，使用HEAD方法检查某文档是否存在。如果想更新已存在的文档，我们只需再PUT一次。

6.1 简单搜索

GET请求非常简单——你能轻松获取你想要的文档。让我们来进一步尝试一些东西，比如简单的搜索！

我们尝试一个最简单的搜索全部员工的请求：

curl 'http://localhost:9200/megacorp/employee/_search?pretty'

返回结果大致如下：

{
  "took" : 12,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "2",
      "_score" : 1.0,
      "_source" : {
        "first_name" : "Jane",
        "last_name" : "Smith",
        "age" : 32,
        "about" : "I like to collect rock albums",
        "interests" : [ "music" ]
      }
    }, {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "first_name" : "John",
        "last_name" : "Smith",
        "age" : 25,
        "about" : "I love to go rock climbing",
        "interests" : [ "sports", "music" ]
      }
    }, {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "first_name" : "Douglas",
        "last_name" : "Fir",
        "age" : 35,
        "about" : "I like to build cabinets",
        "interests" : [ "forestry" ]
      }
    } ]
  }
}

接下来，让我们搜索姓氏中包含“Smith”的员工。要做到这一点，我们将在命令行中使用轻量级的搜索方法。这种方法常被称作查询字符串(query string)搜索，因为我们像传递URL参数一样去传递查询语句：

curl 'http://localhost:9200/megacorp/employee/_search?q=last_name:Smith&pretty'

6.2 使用DSL语句查询

查询字符串搜索便于通过命令行完成特定(ad hoc)的搜索，但是它也有局限性（参阅简单搜索章节）。Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。

DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。我们可以这样表示之前关于“Smith”的查询:

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "query" : {
        "match" : {
            "last_name" : "Smith"
        }
    }
}
'

这会返回与之前查询相同的结果。

更复杂的搜索

我们让搜索稍微再变的复杂一些。我们依旧想要找到姓氏为“Smith”的员工，但是我们只想得到年龄大于30岁的员工。我们的语句将添加过滤器(filter),它使得我们高效率的执行一个结构化搜索：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "query" : {
        "filtered" : {
            "filter" : {
                "range" : {
                    "age" : { "gt" : 30 }
                }
            },
            "query" : {
                "match" : {
                    "last_name" : "smith"
                }
            }
        }
    }
}
'

注意上面的例子同时使用了过滤器和match进行搜索。

全文搜索

到目前为止搜索都很简单：搜索特定的名字，通过年龄筛选。让我们尝试一种更高级的搜索，全文搜索——一种传统数据库很难实现的功能。

我们将会搜索所有喜欢“rock climbing”的员工：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "query" : {
        "match" : {
            "about" : "rock climbing"
        }
    }
}
'

这里返回的结果可能会让人疑惑，首先我们来看一下结果：

{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.18985549,
    "hits" : [ {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "1",
      "_score" : 0.18985549,
      "_source" : {
        "first_name" : "John",
        "last_name" : "Smith",
        "age" : 25,
        "about" : "I love to go rock climbing",
        "interests" : [ "sports", "music" ]
      }
    }, {
      "_index" : "megacorp",
      "_type" : "employee",
      "_id" : "2",
      "_score" : 0.019691018,
      "_source" : {
        "first_name" : "Jane",
        "last_name" : "Smith",
        "age" : 32,
        "about" : "I like to collect rock albums",
        "interests" : [ "music" ]
      }
    } ]
  }
}

这里居然出现了2个结果，其中第二个只包含了rock，这就是结果相关性评分。

默认情况下，Elasticsearch根据结果相关性评分来对结果集进行排序，所谓的「结果相关性评分」就是文档与查询条件的匹配程度。很显然，排名第一的John Smith的about字段明确的写到“rock climbing”。

但是为什么Jane Smith也会出现在结果里呢？原因是“rock”在她的abuot字段中被提及了。因为只有“rock”被提及而“climbing”没有，所以她的_score要低于John。

这个例子很好的解释了Elasticsearch如何在各种文本字段中进行全文搜索，并且返回相关性最大的结果集。相关性(relevance)的概念在Elasticsearch中非常重要，而这个概念在传统关系型数据库中是不可想象的，因为传统数据库对记录的查询只有匹配或者不匹配。

短语搜索

目前我们可以在字段中搜索单独的一个词，这挺好的，但是有时候你想要确切的匹配若干个单词或者短语(phrases)。例如我们想要查询同时包含"rock"和"climbing"（并且是相邻的）的员工记录。

要做到这个，我们只要将match查询变更为match_phrase查询即可:

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    }
}
'

高亮我们的搜索

很多应用喜欢从每个搜索结果中高亮(highlight)匹配到的关键字，这样用户可以知道为什么这些文档和查询相匹配。在Elasticsearch中高亮片段是非常容易的。

让我们在之前的语句上增加highlight参数：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    },
    "highlight": {
        "fields" : {
            "about" : {}
        }
    }
}
'

当我们运行这个语句时，会命中与之前相同的结果，但是在返回结果中会有一个新的部分叫做highlight，这里包含了来自about字段中的文本，并且用<em></em>来标识匹配到的单词。

七、聚合

分析

最后，我们还有一个需求需要完成：允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。

举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是什么：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
  "aggs": {
    "all_interests": {
      "terms": { "field": "interests" }
    }
  }
}
'

暂时先忽略语法只看查询结果：

{
   ...
   "hits": { ... },
   "aggregations": {
      "all_interests": {
         "buckets": [
            {
               "key":       "music",
               "doc_count": 2
            },
            {
               "key":       "forestry",
               "doc_count": 1
            },
            {
               "key":       "sports",
               "doc_count": 1
            }
         ]
      }
   }
}

我们可以看到两个职员对音乐有兴趣，一个喜欢林学，一个喜欢运动。这些数据并没有被预先计算好，它们是实时的从匹配查询语句的文档中动态计算生成的。如果我们想知道所有姓"Smith"的人最大的共同点（兴趣爱好），我们只需要增加合适的语句既可：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
  "query": {
    "match": {
      "last_name": "smith"
    }
  },
  "aggs": {
    "all_interests": {
      "terms": {
        "field": "interests"
      }
    }
  }
}
'

聚合也允许分级汇总。例如，让我们统计每种兴趣下职员的平均年龄：

curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
    "aggs" : {
        "all_interests" : {
            "terms" : { "field" : "interests" },
            "aggs" : {
                "avg_age" : {
                    "avg" : { "field" : "age" }
                }
            }
        }
    }
}
'

虽然这次返回的聚合结果有些复杂，但任然很容易理解：

  ...
  "all_interests": {
     "buckets": [
        {
           "key": "music",
           "doc_count": 2,
           "avg_age": {
              "value": 28.5
           }
        },
        {
           "key": "forestry",
           "doc_count": 1,
           "avg_age": {
              "value": 35
           }
        },
        {
           "key": "sports",
           "doc_count": 1,
           "avg_age": {
              "value": 25
           }
        }
     ]
  }