ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
以上是百度百科对ES的介绍。本文主要记述在linux环境下安装Elasticsearch及基本的可视化工具sense,并使用ES索引MongoDB中的数据,使我们可以直接通过ES去检索数据库中的数据,使检索速度大大加快,并使用python去完成对ES的检索操作。
环境:ubuntu 14.04, elasticsearch 2.3.4, mongodb 3.2, python 2.7
1.安装ElasticSearch
首先官方文档要求Elasticsearch 至少安装有Java 7. 因此首先确定已经安装有JDK7或以上版本。
安装ElasticSearch非常简单,只需要去官方下载地址https://www.elastic.co/downloads/elasticsearch下载想要安装的版本即可,例如下载2.3.4版本,下载完毕后解压,接着进入bin目录下
cd elasticsearch-2.3.4/bin
运行
./elasticsearch
接着打开浏览器,输入localhost:9200,如果出现以下信息则启动成功
{
"name" : "Tethlam",
"cluster_name" : "elasticsearch",
"version" : {
"number" : "2.3.4",
"build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f",
"build_timestamp" : "2016-06-30T11:24:31Z",
"build_snapshot" : false,
"lucene_version" : "5.5.0"
},
"tagline" : "You Know, for Search"
}
2.安装kibana和sense
kibana是ES的可视化工具,功能强大,sense是kibana的一个插件,使用sense可以直接在浏览器里完成对ES的基本操作。
首先安装kibana,安装方法与ES一样,首先下载想要的版本https://www.elastic.co/downloads/kibana,然后解压,进入bin目录,运行以下命令安装sense
./bin/kibana plugin --install elastic/sense
安装成功后运行 ./bin/kibana
打开浏览器,输入http://localhost:5601/app/sense即可进入sense 至此一个基本的ES环境就安装完成了
3.安装mongo-connector
接下来我们要使用ES去检索mongodb中的数据,这样首先需要用ES去同步存储在mongodb中数据,创建这些数据的索引。完成这一步工作需要使用的工具是mongo-connector,这是mongodb官方开发的一个非正式工具。
使用mongo-connector同步数据首先需要确保mongodb为副本集,这一步是必不可少的,因为ES是通过mongodb的oplog去建立索引,如果不是副本集就没有oplog,当然也就无法建立索引了,至于如何建立mongodb副本集请自行查阅mongodb文档。
可以使用pip直接安装mongo-connector:
pip install mongo-connector 然后下载 https://github.com/mongodb-labs/elastic2-doc-manager,接着可以直接运行以下命令完成数据同步
mongo-connector -m localhost:27017 -t localhost:9200 -d elastic2_doc_manager
注意如果使用的ES为1.x版本需要下载 https://github.com/mongodb-labs/elastic-doc-manager并运行
mongo-connector -m localhost:27017 -t localhost:9200 -d elastic_doc_manager 其中-m之后的参数为数据库地址,-t之后为ES地址,这样就完成了同步
4.用python操作ES
最后我们要使用python操作ES,对此ES本身提供了python client,同样使用pip即可安装
pip install elasticsearch 接着可以使用以下代码测试
from elasticsearch import Elasticsearch
es = Elasticsearch() # ignore 400 cause by IndexAlreadyExistsException when creating an index
es.indices.create(index='test-index', ignore=400) # ignore 404 and 400
es.indices.delete(index='test-index', ignore=[400, 404])
更多信息请参考官方文档
相关链接:ES官方文档https://www.elastic.co/guide/index.html
mongo-connector文档https://github.com/mongodb-labs/mongo-connector/wiki/Usage-with-ElasticSearch
Elasticsearch python client文档https://elasticsearch-py.readthedocs.io/en/master/api.html#elasticsearch