mysql 增量导入到elasticsearch

时间:2022-08-22 21:47:22
<pre name="code" class="html">zjtest7-redis:/odbc_es# cat /odbc_es/run_mysql.sh
. ~/.bash_profile
cd /root/check
v_date=`date +%Y-%m-%d '--date=1 days ago'`
echo $v_date
sed -i s/v_date/$v_date/g mysql_import_es.sh
sh ./mysql_import_es.sh
cp -r -f .mysql_import_es.sh mysql_import_es.sh
zjtest7-redis:/odbc_es# cat mysql_import_es.sh
. ~/.bash_profile
bin=/usr/local/elasticsearch-jdbc-2.3.4.0/bin
lib=/usr/local/elasticsearch-jdbc-2.3.4.0/lib
echo '{
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"es_cluster",
"type" : "jdbc",
"jdbc" : {
"url" : "jdbc:mysql://192.168.32.218:3306/zjzc",
"user" : "root",
"password" : "1234567",
"sql" : "select * from Client where registerTime>=\"v_date 00:00:00\" and registerTime<=\"v_date 23:59:59\"",
"elasticsearch" : {
"cluster" : "es_cluster",
"host" : "192.168.32.80",
"port" : 9300
},
"index" : "logstash-client-v_date",
"type" : "Client"
}
}' | java \
-cp "${lib}/*" \
-Dlog4j.configurationFile=${bin}/log4j2.xml \
org.xbib.tools.Runner \
org.xbib.tools.JDBCImporter
zjtest7-redis:/odbc_es# cat ~/.bashrc
# .bashrc # User specific aliases and functions alias rm='rm -i'
#alias cp='cp -i'
alias mv='mv -i' # Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
														
		

mysql 增量导入到elasticsearch的更多相关文章

  1. Logstash:把MySQL数据导入到Elasticsearch中

    Logstash:把MySQL数据导入到Elasticsearch中 前提条件 需要安装好Elasticsearch及Kibana. MySQL安装 根据不同的操作系统我们分别对MySQL进行安装.我 ...

  2. 大数据之路week07--day07 (Sqoop 从mysql增量导入到HDFS)

    我们之前导入的都是全量导入,一次性全部导入,但是实际开发并不是这样,例如web端进行用户注册,mysql就增加了一条数据,但是HDFS中的数据并没有进行更新,但是又再全部导入一次又完全没有必要. 所以 ...

  3. Kafka Connect使用入门-Mysql数据导入到ElasticSearch

    1.Kafka Connect Connect是Kafka的一部分,它为在Kafka和外部存储系统之间移动数据提供了一种可靠且伸缩的方式,它为连接器插件提供了一组API和一个运行时-Connect负责 ...

  4. Logstash学习之路(四)使用Logstash将mysql数据导入elasticsearch(单表同步、多表同步、全量同步、增量同步)

    一.使用Logstash将mysql数据导入elasticsearch 1.在mysql中准备数据: mysql> show tables; +----------------+ | Table ...

  5. hadoop项目实战--ETL--(三)实现mysql表到HIVE表的全量导入与增量导入

    一 在HIVE中创建ETL数据库 ->create database etl; 二 在工程目录下新建MysqlToHive.py 和conf文件夹 在conf文件夹下新建如下文件,最后的工程目录 ...

  6. 使用canal增量同步mysql数据库信息到ElasticSearch

    本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch.(注意:是增量!!!) 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系 ...

  7. 【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中

    最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入从0到1的过程,最终实现了每秒钟快速导入约 1200 条数据.一起来看吧~ 一.K ...

  8. mysql 数据库导入 导出,解决 导入 错误问题

    mysqldump -uxxxx -pxxxx -hrds2383jse53pi6ipwmf.mysql.rds.aliyuncs.com legaokao > /root/legaokaodu ...

  9. Sqoop实现自定义job的增量导入

    需求:redis缓存的数据隔段时间往MySQL中写入一次.如果按照job的增量导入,比如上次redis向mysql导入数据时间为8:00,下一次导入时间为9:00,8:20sqoop进行增量导入,导入 ...

随机推荐

  1. HTML5表单那些事

    //一般写法 <form method="post" action="http://xxx:port/form"></form> //高 ...

  2. &period;net中ckeditor的应用

    ①js文件的引入 <script src="/public/ckeditor_4.4.7/ckeditor.js"></script> <script ...

  3. XPath 定位----光荣之路

    被测试网页的HMTL代码 <html> <body> <div id="div1"> <input name="div1inpu ...

  4. 使用CSS的类名交集复合选择器

    首先先看一下基本定义: 复合选择器就是两个或多个基本选择器,通过不同方式连接而成的选择器,主要包括“交集”选择器.“并集”选择器.“后代”选择器. 交集选择器 “交集”复合选择器是由两个选择器直接连接 ...

  5. python3的urllib2报错问题解决方法

    python urlib2 兼容问题 在python3中,将urllib和urllib2合并了,所以在使用urllib2的地方改成urllib.request即可.示例如下 import urllib ...

  6. FSLIB&period;NETWORK 简易使用指南

    1.介绍 FSLIB.NETWORK 是一款开源HTTP的高性能高易用性网络库,是对HttpWebRequest/HttpWebResponse的包装,目的是为了用起来更简单明了.设计的时候就为了提供 ...

  7. es5原型式继承间解

    1. 原型式继承方法 js 继承使用不难,要说清楚,需要自己一定总结,才能说清楚. es5 的继承方式有很多种,这个是 js 语言本身造成,但是类实现继承之后的功能,有如下 3 条: 子类继承父类,主 ...

  8. liunx必知必会(1)

    一.liunx目录结构: (1)/bin中 - 用户二进制文件 包含二进制可执行文件. 在单用户模式下,你需要使用的常见Linux命令都位于此目录下.系统的所有用户使用的命令都设在这里. (2)/sb ...

  9. centos6&period;5上安装配置telnet服务

    https://blog.csdn.net/wx5040257/article/details/78327915

  10. POJ 2601

    #include<iostream> #include<iomanip> #include<stdio.h> using namespace std; int ma ...