如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

时间:2022-09-29 08:38:41

(一)做啥的?

基于Elasticsearch,可以为实现,大数据量(亿级)的实时统计查询的方案设计,提供底层数据框架。

本小节jacky会在非生产环境下,在 window 系统下,给大家分享着部分的相关内容。

(二)Elasticsearch的安装

2.1 版本选择:elasticsearch-rtf

  • 第1步:安装java

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 验证java是否安装成功:

    • 这里java要兼容elasticsearch,必须安装java8以上的版本

      如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)
  • 第2步:下载elasticsearch-rtf

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第3步:在bin目录下用命令行安装elasticsearch

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第4步:查看9200访问接口,如果看到以下界面,说明我们的elasticsearch就安装成功了

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

(三)head 插件的安装

  • 第1步,在github中下载head插件

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第二步:下载npm

    • 下载安装npm的前置环境-nodejs

      如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)
  • 验证npm是否下载成功

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第三步:安装cnpm

npm就相当于python中的pip,*仓库在国外,下载速度极慢,所以选择淘宝镜像的cnpm代替npm;

如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第4步:安装head插件

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 第5步 : 运行head插件

    • head 文件下:cnpm run start

      如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

      如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

elasticsearch安全策略规定:elasitcsearch默认不允许使用第三方的服务,为了可以满足head这个代理服务可以访问elasticsearch,我们要对elasticsearch进行一些配置上的改动;

  • 第6步 : 重新配置elasticsearch

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

  • 我们看到显示未连接,我们需要配置elasticsearch-rtf(搜索引擎)连接,在elasticsearch-rtf/config/elasticsearch.yml 这个文件里配置,在文件的最后面写入:

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
  • 第7步:重启elasticsearch-rtf(搜索引擎)后就可以连接了

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

(四)Kibana 插件的安装

  • 注意:Kibana的版本要对应elasticsearch-head里信息里的版本

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

    如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)

如何用elasticsearch构架亿级数据采集系统(第1集:非生产环境windows安装篇)的更多相关文章

  1. MySQL使用pt-online-change-schema工具在线修改1.6亿级数据表结构

    摘  要:本文阐述了MySQL DDL 的问题现状.pt-online-schema-change的工作原理,并实际利用pt-online-schema-change工具在线修改生产环境下1.6亿级数 ...

  2. 通用技术 mysql 亿级数据优化

    通用技术 mysql 亿级数据优化 一定要正确设计索引 一定要避免SQL语句全表扫描,所以SQL一定要走索引(如:一切的 > < != 等等之类的写法都会导致全表扫描) 一定要避免 lim ...

  3. 不停机不停服务,MYSQL可以这样修改亿级数据表结构

    摘  要:本文阐述了MySQL DDL 的问题现状.pt-online-schema-change的工作原理,并实际利用pt-online-schema-change工具在线修改生产环境下1.6亿级数 ...

  4. 基于Mysql数据库亿级数据下的分库分表方案

    移动互联网时代,海量的用户数据每天都在产生,基于用户使用数据的用户行为分析等这样的分析,都需要依靠数据都统计和分析,当数据量小时,问题没有暴露出来,数据库方面的优化显得不太重要,一旦数据量越来越大时, ...

  5. Mongodb亿级数据量的性能测试

    进行了一下Mongodb亿级数据量的性能测试,分别测试如下几个项目:   (所有插入都是单线程进行,所有读取都是多线程进行) 1) 普通插入性能 (插入的数据每条大约在1KB左右) 2) 批量插入性能 ...

  6. 巧用redis位图存储亿级数据与访问 - 简书

    原文:巧用redis位图存储亿级数据与访问 - 简书 业务背景 现有一个业务需求,需要从一批很大的用户活跃数据(2亿+)中判断用户是否是活跃用户.由于此数据是基于用户的各种行为日志清洗才能得到,数据部 ...

  7. NEO4J亿级数据导入导出以及数据更新

    1.添加配置 apoc.export.file.enabled=true apoc.import.file.enabled=true dbms.directories.import=import db ...

  8. NEO4J亿级数据全文索引构建优化

    NEO4J亿级数据全文索引构建优化 一.数据量规模(亿级) 二.构建索引的方式 三.构建索引发生的异常 四.全文索引代码优化 1.Java.lang.OutOfMemoryError 2.访问数据库时 ...

  9. Mybatis 使用分页查询亿级数据 性能问题 DB使用ORACLE

    一般用到了mybatis框架分页就不用自己写了 直接用RowBounds对象就可以实现,但这个性能确实很低 今天我用到10w级得数据分页查询,到后面几页就迭代了很慢 用于记录 1.10万级数据如下 [ ...

随机推荐

  1. 利用闭包实现多次ajax请求只执行最后一次

    点一个按钮,则向服务器请求资源,不作处理时,多次点击后会有很多个请求在等待.我们知道一般我们用ajax是异步请求,那么我们快速重复点击一个按钮得到的结果其实我们并不知道是哪次点击的结果可能是第一次可能 ...

  2. POJ 2955 Brackets --最大括号匹配,区间DP经典题

    题意:给一段左右小.中括号串,求出这一串中最多有多少匹配的括号. 解法:此问题具有最优子结构,dp[i][j]表示i~j中最多匹配的括号,显然如果i,j是匹配的,那么dp[i][j] = dp[i+1 ...

  3. -XX&colon;&plus;PrintGCDetails 打印GC详细信息

    -XX:+PrintGCDetails –打印GC详细信息     n-XX:+PrintGCDetails的输出 –Heap – def new generation   total 13824K, ...

  4. json2&period;js 使用

    参考:http://www.cnblogs.com/youring2/archive/2013/03/01/2938850.html github地址:https://github.com/dougl ...

  5. go - 内置基础类型

    Go 语言中包括以下内置基础类型: 布尔型:bool 整型:int int64 int32 int16 int8 uint8(byte) uint16 uint32 uint64 uint 浮点型:f ...

  6. 线程带参数的Udp接收

    //work wk = new work(ReadUdpDate); ParameterizedThreadStart parmThre = new ParameterizedThreadStart( ...

  7. scrapy爬取豆瓣电影top250

    # -*- coding: utf-8 -*- # scrapy爬取豆瓣电影top250 import scrapy from douban.items import DoubanItem class ...

  8. 第 8 章 容器网络 - 066 - Weave 如何与外网通信?

    Weave 与外网通信 weave 是一个私有的 VxLAN 网络,默认与外部网络隔离. 外部网络如果要访问到 weave 中的容器:1.首先将主机加入到 weave 网络.2.然后把主机当作访问 w ...

  9. No mapping found for HTTP request with URI &lbrack;&sol;Portal&sol;download&rsqb; in DispatcherServlet with name &&num;39&semi;springmvc&&num;39&semi;

    本文为博主原创,未经允许不得转载: 遇到这个异常,总结一下这个问题发生的原因: 这个原因是在springmvc中在DispatcherServlet分发请求时,解析不到相应的请求路径.后台要请求的路径 ...

  10. 用python实现一个简单的聊天功能,tcp,udp,socketserver版本

    基于tcp协议版本 服务器端 import socket server = socket.socket() server.bind(('127.0.0.1', 8001)) server.listen ...