streamsets 集成 cratedb 测试

时间:2022-06-09 00:23:39

我们可以集成crate 到streamsets 中可以实现强大的数据导入,数据分析能力。
演示的是进行csv 文件的解析并输出到cratedb

环境使用docker && docker-compose

环境启动

  • docker-compose yaml 文件
version: "3"
services:
sets:
image: streamsets/datacollector
volumes:
- "./ms/data:/data"
- "./ms/logs:/logs"
- "./ms/tmp:/tmp"
ports:
- "8000:8000"
- "18630:18630"
crate:
image: crate
ports:
- "4200:4200"
- "4300:4300"
- "5432:5432"
  • 启动
docker-compose up -d
  • 效果
    streamsets 集成 cratedb 测试
    streamsets 集成 cratedb 测试

安装cratedb jdbc driver

  • 下载 jdbc driver

    我已经放到github 项目的data 目录

参考地址:
https://bintray.com/crate/crate/crate-jdbc/view/files/io/crate/crate-jdbc-standalone
  • 下载csv 文件

    我已经放到github 项目 的data 目录

https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_taxi_data.csv
  • 加载jdbc driver

    使用ui 的external library 加载

streamsets 集成 cratedb 测试
streamsets 集成 cratedb 测试
streamsets 集成 cratedb 测试

  • 创建cratedb table
CREATE TABLE taxi (
hack_license STRING,
medallion STRING,
total_amount FLOAT,
tip_amount FLOAT
);

配置pipeline

  • pipeline flow
    streamsets 集成 cratedb 测试
  • 配置csv 加载(directory origin)
    streamsets 集成 cratedb 测试
    streamsets 集成 cratedb 测试
  • 添加字段转换配置
    streamsets 集成 cratedb 测试
  • 配置cratedb jdbc productor

问题比较多,主要是用户账户以及健康检查,连接池相关的,经过测试我使用了用户认证,使用默认的crate,参考下面的图即可
crate 官方的文档参考会有问题

streamsets 集成 cratedb 测试
密码随意,用户为crate
streamsets 集成 cratedb 测试
streamsets 集成 cratedb 测试

预览测试

streamsets 集成 cratedb 测试
streamsets 集成 cratedb 测试

运行&&写入数据

streamsets 集成 cratedb 测试
streamsets 集成 cratedb 测试

总结

在jdbc 配置中问题比较多,记得通过校验,逐步排除即可。

参考资料

https://crate.io/docs/crate/guide/en/latest/tools/streamsets.html
https://github.com/rongfengliang/streamsets-demos/tree/master/cratedb

 
 
 
 

streamsets 集成 cratedb 测试的更多相关文章

  1. springboot集成junit测试与javamail测试遇到的问题

    1.springboot如何集成junit测试? 导入junit的jar包 使用下面注解: @RunWith()关于这个的解释看下这两篇文章: http://www.imooc.com/qadetai ...

  2. Docker持续化集成和测试

     基于容器的自动构建:Docker在美团的应用 https://linux.cn/article-5465-1.html Docker持续化集成和测试,关于docker-in-docker问题 h ...

  3. 通过patch 方式解决cube.js 集成cratedb 的问题

    今天有写过一个简单的cube.js 集成cratedb 的说明,主要是在driver 上的兼容问题,处理方法是删除不兼容的代码 实际上我们也可以通过类似linux c 开发中的patch 方式解决,简 ...

  4. cube.js 集成cratedb 的尝试

    cratedb 提供了pg协议的兼容,我们可以直接使用pg client 连接,但是也不是完整实现pg 协议的 以下是 cube.js 集成cratedb 的一些尝试 环境准备 docker-comp ...

  5. Pytest权威教程11-模块及测试文件中集成doctest测试

    目录 模块及测试文件中集成doctest测试 编码 使用doctest选项 输出格式 pytest-specific 特性 返回: Pytest权威教程 模块及测试文件中集成doctest测试 编码 ...

  6. 将jacoco集成到测试工具平台

    最近在做接口测试,想通过代码覆盖率来判断一下接口用例是否缺失,但是每次通过命令来生成覆盖率报告,感觉太麻烦,所以就想着把jacoco集成到测试工具平台中,只需要点几个按钮,就能查看到覆盖率报告. 测试 ...

  7. streamsets 集成 minio s3测试

    具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考: https://www.cnblog ...

  8. 用Jenkins+Gradle+Jetty实现持续集成、测试、部署

    自动集成有很多种方案,本例用到的工具是Jenkins(前身Hudson)+Gradle+Jetty,关于Gradle可参考上一篇,Gradle常见问题. 本例项目名称: WAP Jetty 安装Jen ...

  9. streamsets 集成 rabbitmq 以及benthos stream 处理框架

    benthos 是一个stream 处理框架,streamsets 也是,但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务,消息中间件(kafka.rabbitmq ...) 使 ...

随机推荐

  1. LeetCode Sum of Two Integers

    原题链接在这里:https://leetcode.com/problems/sum-of-two-integers/ 题目: Calculate the sum of two integers a a ...

  2. jdk6提供的加密算法

    SUN:SHA1PRNG____sun.security.provider.SecureRandomSUN:SHA1withDSA____sun.security.provider.DSA$SHA1w ...

  3. 《JS高程》数据类型学习笔记

    认认真真看完了<JavaScript高级程序设计>第3章的基本概念,原来一直不明白的知识点都在这里面啊...T_T...基础真的很重要,很重要,很重要... 现在终于明白了读书的技巧,书读 ...

  4. linux查看硬件信息

    1,查看CPU信息:cat /proc/cpuinfo2,查看板卡信息:cat /proc/pci3,查看USB设备:cat /proc/bus/usb/devices4,查看PCI信息:lspci ...

  5. 聊一聊C&num;的Equals&lpar;&rpar;和GetHashCode&lpar;&rpar;方法

    博客创建一年多,还是第一次写博文,有什么不对的地方还请多多指教. 关于这次写的内容可以说是老生长谈,百度一搜一大堆.大神可自行绕路. 最近在看Jeffrey Richter的CLR Via C#,在看 ...

  6. Ubuntu16&period;04下Hadoop的本地安装与配置

    一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为 ...

  7. 从网卡发送数据再谈TCP&sol;IP协议—网络传输速度计算-网卡构造

    在<在深谈TCP/IP三步握手&四步挥手原理及衍生问题—长文解剖IP>里面提到 单个TCP包每次打包1448字节的数据进行发送(以太网Ethernet最大的数据帧是1518字节,以 ...

  8. python 中的&quot&semi;&ast;&quot&semi;与&quot&semi;&ast;&ast;&quot&semi;

    1.Python中 *和**很常见的运算符的用途及其多种使用方式. 本文所述的*和**,指的是*和**前缀运算符,而不是中缀运算符. 所以指的不是乘法和乘幂: 使用*和**将参数传递给函数 使用*和* ...

  9. mongdb中的&lowbar;id

    MongoDB中数据的基本单元称为文档(Document).文档是MongoDB的核心概念,多个键极其关联的值有序的放置在一起便是文档. 在一个特定集合内部,需要唯一的标识文档.因此MongoDB中存 ...

  10. OpenTracing&colon;开放式分布式追踪规范

    前言 想实现一个简单的追踪系统似乎是容易的,需要必要的调用链id,时间戳等:想实现一款易用不侵入代码的追踪系统就很麻烦了,需要接触CLR和IL相关知识:即使你费劲心力做出了那些,如果性能不够好,也没有 ...