Elasticsearch学习笔记(一)

时间:2022-01-01 15:53:34

批量建索引:

curl -s -XPOST 'localhost:9200/_bulk' --data-binary @documents.json

查看索引mapping
myindex/_mapping

分页:

from、size

返回版本:

"version": true

利用得分限制结果集:

"min_score": 0.75

"fields":*  返回所有字段

_source字段:

请求一个没有存储的字段时,这个字段将从_source字段中提取(需要额外处理);返回_source字段比返回多个存储字段性能更好

部分字段:(排除字段)

"partial_fields": { "partial1": { "include": ['titl*'], "exclude": ["chara*"] }}

脚本字段:

{"scirpt_fields": {"correctYear": {"script": "doc['year'].value - 1800" }}}   或   "script": "_source.year - 1800"  (更省内存,支持更复杂字段值)

传参数给脚本:"params": {"paramYear": 1800}   然后"script": "_source.year - paramYear" }

搜索执行偏好:(控制在哪些分片上执行查询,如:_primary、_primary_first、_shards)

curl -XGET 'localhost:9200/library/_search?preference=_local' -d json

搜索分片API:(此API允许检查将执行查询的分片)

curl -XGET 'localhost:9200/library/_search_shards?pretty' -d json

加权查询:

"title": {"value": "crime", "boost": 10.0}

多词条查询:

"terms": {"title": ['book', 'novel'], "minimum_match": 1

term查询不分析,match查询分析,

multi_search查询:(多个字段上查询)

query_string查询

simple_query_string: "simple_query_string": {"query": "title: crime^10 +title:punishment -otitle:cat"}

标识符查询(ids,此查询针对内部的_uid字段运行,不需要启用_id字段)、前缀查询(prefix)

fuzzy查询(fuzzy)

通配符查询(wildcard,允许使用*和?等通配符,性能不好,尽量避免前缀通配符): "wildcard": {"title": "cr?me"}

范围查询(range, 同时支持数值型和字符串,范围查询只能针对单个字段)

最大分查询

_all域(默认启用)

ElasticSearch默认为每个被索引的文档都定义了一个特殊的域 - '_all',它自动包含被索引文档中一个或者多个域中的内容, 在进行搜索时,如果不指明要搜索的文档的域,ElasticSearch则会去搜索_all域。_all带来搜索方便,其代价是增加了系统在索引阶段对CPU和存储空间资源的开销。
默认情况,ElasticSarch自动使用_all所有的文档的域都会被加到_all中进行索引。可以使用"_all" : {"enabled":false} 开关禁用它。如果某个域不希望被加到_all中,可以使用 "include_in_all":false。例如:

{
"person": {
"_all": {
"enabled": true
}"properties": {
"name": {
"type": "object",
"dynamic": false,
"properties": {
"first": {
"type": "string",
"store": true,
"include_in_all": false
},
"last": {
"type": "string",
"index": "not_analyzed"
}
}
},
"simple2": {
"type": "long",
"include_in_all": false
}
}
}
}

查询时,_all和其它域一样使用:

GET/profiles/_search
{
"query": {
"match": {
"_all": "food"
}
}
}

或者在不提供搜索域的情况下,默认会搜索_all,例如:

GET/profiles/_search
{
"query": {
"query_string": {
"query": "food"
}
}
}

索引段信息

http://10.17.139.21:9200/_segments GET

  • num_committed_segments"
  • "num_search_segments"

每个shard都有以上两个段信息参数,段文件太多会影响ES检索性能

另外一种查询index段信息的方式:_plugin/head/ -> index信息 ->索引状态  -> segments

聚合

_search?search_type=count POST
如果不需要搜索到的文档,用search_type=count参数更好,会省掉一些不必要的工作,更高效

{
"aggs": {
"rowKeyAggs": {
"stats": {
"field": "target_type"
}
},
"other": {
"terms": {
"field": "task_id"
}
}
}
}

获取最小值

{
"aggs": {
"minAggs": {
"min": {
"field": "age"
}
}
}
}

使用脚本

1.

{
"aggs": {
"minAggs": {
"min": {
"field": "target_type",
"script": "_value - 10000"
}
}
}
}

2.

{
"aggs": {
"minAggs": {
"min": {
"script": "doc['sex'].value - 10000"
}
}
}
}

3.

{
"aggs": {
"minAggs": {
"min": {
"field": "target_type",
"script": "_value - mod",
"params": {
"mod": 1000
}
}
}
}
}

 value_count聚合(数值型和非数值型均适用)

{
"aggs": {
"minAggs": {
"value_count": {
"field": "name"
}
}
}
}

桶聚合

#不同类型车牌数量统计,按数量排序

{
"aggs": {
"carTypeAggs": {
"terms": {
"field": "plate_type" #定义一个terms类型的桶
}
}
}
}

terms桶会动态地为每一个它遇到的不重复的词条创建一个新的桶。因为我们针对的是color字段,那么terms桶会动态地为每种颜色创建一个新桶。

取得某个索引/类型下某个字段中出现不同值的个数

{
"aggs": {
"carTypeAggs": {
"cardinality": {
"field": "plate_type"
}
}
}
}

桶中的桶

{
"aggs": {
"carTypeAggs": {
"terms": {
"field": "plate_type"
},
"aggs": {
"avg_vehicle_speed": {
"avg": {
"field": "vehicle_speed"
}
},
"brandC": {
"terms": {
"field": "brand"
}
}
}
}
}
}

ES插件安装:

cd C:\elasticsearch-0.90.3\bin
plugin -install mobz/elasticsearch-head
离线安装
plugin -install file://usr/file.zip

ES断路器和路由

字段数据缓存(fielddata)及配置参数

Fielddata缓存是ES缓存的一部分,当查询对字段进行排序或切面计算时,ES将该字段或doc的所有倒排索引加载到内存,以便能快速访问这些字段或doc。
Index.fielddata.cache.type:该属性控制字段数据缓存的级别,属性值为resident或soft时为索引级别,但是并不建议使用索引级别,因为很难预测索引会分配到哪个节点上,无法预估每个节点上字段数据缓存的大小,可能会导致内存使用问题。属性值为node(默认值)时为节点级别,节点级别的配置包括indices.fielddata.cache.size和indices.fielddata.cache.expire。
indices.fielddata.cache.size:该属性来控制允许用于字段缓存的内存大小。可以设置成绝对值(如4GB)或百分比(如40%)。如果使用百分数,ES会按当前节点的最大堆内存的百分比计算内存使用量,而不是按可用堆内存。有了这个设置,最久未使用的fielddata会被回收,为新数据腾出空间。这个参数的配置是没有限制的,应该小心使用,默认是unbounded,ES永远不会回收fielddata缓存。
indices.fielddata.cache.expire:该属性控制字段数据缓存的过期时间,默认为-1,表示永不过期。但是一般情况下强烈不建议设置过期时间,因为重建字段数据缓存的代价是昂贵的。后期版本可能会废弃这个参数。

监控Fielddata缓存

Fielddata 的使用可以被监控:
按索引级别使用:
GET /_stats/fielddata?fields=* 
按节点级别使用:
GET /_nodes/stats/indices/fielddata?fields=*
按索引节点级别使用:
GET /_nodes/stats/indices/fielddata?level=indices&fields=* 
使用设置 ?fields=* ,可以将内存使用分配到每个字段。

断路器(fielddata circuit breaker)

如果一个查询要加载的fielddata超过可用堆内存的大小,就会导致OOM,因此ES设计了断路器,断路器的工作机制是预估一个查询所需要的内存大小,如果超过可用堆内存,就会终止查询并抛出Data too large Exception。这比OOM的代价要小。断路器的配置如下:
indices.breaker.fielddata.limit
fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。
indices.breaker.request.limit
request 断路器估算需要完成其他请求部分的结构大小,例如创建一个聚合桶,默认限制是堆内存的 40%。
indices.breaker.total.limit
total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%。 
这两个配置是全局的,配置在config/elasticsearch.yml ,也可以通过REST更新一个集群:
PUT /_cluster/settings
{
"persistent" : {
"indices.breaker.fielddata.limit" : "40%" 
}
}
在实际使用过程中,Fielddata中的indices.fielddata.cache.size属性经常和断路器的indices.breaker.fielddata.limit属性配合使用,为了让fielddata数据更新正常进行,一般断路器的限制要比缓存大一些。

路由器

默认情况下,ES会在所有的索引分片中均匀的分配文档,查询文档时,需要查询所有分片并合并结果。
路由是可以控制文档分配和查询的目的分片,在创建索引的时候可以指定一个路由值,查询的时候可以通过这个路由值就可以指向对应的分片,相同查询的路由路径是相同的,1.x版本的ES可以将文档中的某个字段作为路由值,自2.0版本之后只能手动指定。路由确保了在索引时拥有相同路由值的文档会索引到相同的分片上,但一个给定的分片上可以有不同路由值的文档。

ES通过路由值锁定目标分片的公式:shard = hash(routing) % number_of_primary_shards。
通过路由值和索引名、索引类型的组合可以查询对应的节点,对应的API是searchshard API。
代码如下:
ClusterSearchShardsResponse response = esClient.admin().cluster().prepareSearchShards().setIndices(indices).setTypes(indexType).setRouting(routNum).execute().actionGet();

相关链接:

聚合:http://blog.csdn.net/dm_vincent/article/details/42407823

脑裂:http://www.cnblogs.com/chenying99/p/4350930.html