场景
最近在做数据分析项目，里面有这样一个业务：把匹配的数据打上标签，放到新的索引中。
数据量：累计亿级的数据
使用场景：可能会单次查询大量的数据，但不会设置复杂的条件，且这些数据不会被再次修改
原来使用的数据库：ElasticSearch
问题：上面也说了我这里打上标记后，这些数据几乎不会再修改了。ES 是一个全文检索引擎，更适用于进行大量文本检索的情况。这里与我上面的使用场景就不太匹配了。
技术选型的考虑：改用战斗民族开发的 ClickHouse，它适用于 OLAP 也就是数据分析的场景，当数据写入后，通过不同维度不断挖掘、分析，发现其中的商业价值。ClickHouse 适用于读远大于写的情况。
此外，相比ES，ClickHouse 占用的硬盘空间更小，也有利于降低运维成本。
下面是我在尝试接入 ClickHouse 时的一些实践，以及关于 ClickHouse数组类型转换问题的解决方案。
关于 ClickHouse 更详细的知识参考：https://zhuanlan.zhihu.com/p/98135840
示例代码已经上传到了 Git，目前更新第 28 节：https://github.com/laolunsi/spring-boot-examples/
Mybatis + ClickHouse
以前一直用 Mybatis 去操作 MySQL，其实 Mybatis 还可以操作 ClickHouse，这里用 Druid 进行连接管理。
maven 配置
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.2.5</version>
</dependency>
<dependency>
<groupId>ru.yandex.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.2.6</version>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.1.3</version>
</dependency>
|
配置文件：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
# 注意这里是自定义的配置，通过 JdbcParamConfig 来加载配置到 Spring 中
# 然后由 DruidConfig 来配置数据源
click:
driverClassName: ru.yandex.clickhouse.ClickHouseDriver
url: jdbc:clickhouse://127.0.0.1:8123/test # ip:port/database
userName: default
password: default # 按照自己连接的 clickhouse 数据库来
initialSize: 10
maxActive: 100
minIdle: 10
maxWait: 6000
validationQuery: SELECT 1
|
加载配置项的类：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
@Component
@ConfigurationProperties(prefix = "spring.datasource.click")
public class JdbcParamConfig {
private String userName;
private String password;
private String driverClassName ;
private String url ;
private Integer initialSize ;
private Integer maxActive ;
private Integer minIdle ;
private Integer maxWait ;
private String validationQuery;
// ignore getters and setters
}
|
配置 Druid:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
@Configuration
@MapperScan(basePackages = {
"com.aegis.analysis.clickhousestorage.dao"
})
public class DruidConfig {
@Resource
private JdbcParamConfig jdbcParamConfig ;
@Bean(name = "clickDataSource")
public DataSource dataSource() throws ClassNotFoundException {
Class classes = Class.forName("com.alibaba.druid.pool.DruidDataSource");
DruidDataSource dataSource = (DruidDataSource) DataSourceBuilder
.create()
.driverClassName(jdbcParamConfig.getDriverClassName())
.type(classes)
.url(jdbcParamConfig.getUrl())
.username(jdbcParamConfig.getUserName())
.password(jdbcParamConfig.getPassword())
.build();
dataSource.setMaxWait(jdbcParamConfig.getMaxWait());
dataSource.setValidationQuery(jdbcParamConfig.getValidationQuery());
return dataSource;
}
@Bean
public SqlSessionFactory clickHouseSqlSessionFactoryBean() throws Exception {
SqlSessionFactoryBean factory = new SqlSessionFactoryBean();
factory.setDataSource(dataSource());
// 实体 model的 路径 比如 com.order.model
factory.setTypeAliasesPackage("com.example.clickhousedemo.model");
//添加XML目录
ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
factory.setMapperLocations(resolver.getResources("classpath:mapper/*.xml"));
//开启驼峰命名转换
factory.getObject().getConfiguration().setMapUnderscoreToCamelCase(true);
return factory.getObject();
}
}
|
定义一个 UserInfo 类，建表语句如下：
|
1
2
3
4
5
6
7
8
9
|
CREATE TABLE test.user (
`id` Int16,
`name` String,
`score` Float32,
`score2` Float64,
`state` Int8,
`createTime` DateTime,
`ranks` Array(UInt8)
) ENGINE = MergeTree() ORDER BY id;
|
实体类：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
public class UserInfo {
private Integer id; // int16
private String name; // String
private Float score; // float16
private Double score2; // float32
private Boolean state; // int8
private Date createTime; // datetime
private Integer[] ranks; // Array - Array 类型需要进行类型转换
// 具体转换方法与配置参考 ClickArrayToIntHandler 类与 UserMapper.xml 中关于查询和插入时 ranks 字段的配置
// ignore getters and setters
}
|
DAO 和 Mapper 文件就按照连接 MYSQL 时的写法一样。
这里有个需要注意的点，ClickHouse 有个 Array 类型，可以用来存数组，就像 ES 一样。问题是类型转换需要自己定义。网上一些资料仅列出了基本类型的场景，我自己实现了一个转换器，可以参考一下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
/**
* Java Int 数组与 ClockHouse Array Int 转换器
* @version 1.0
* @since 2019/11/14 9:59
*/
public class ClickArrayToIntHandler extends BaseTypeHandler<Integer[]> {
@Override
public void setNonNullParameter(PreparedStatement preparedStatement, int i, Integer[] integers, JdbcType jdbcType) throws SQLException {
preparedStatement.setObject(i, integers);
}
@Override
public Integer[] getNullableResult(ResultSet resultSet, String s) throws SQLException {
Object obj = resultSet.getObject(s);
return parseClickHouseArrayToInt(obj);
}
@Override
public Integer[] getNullableResult(ResultSet resultSet, int i) throws SQLException {
Object obj = resultSet.getObject(i);
return parseClickHouseArrayToInt(obj);
}
@Override
public Integer[] getNullableResult(CallableStatement callableStatement, int i) throws SQLException {
Object obj = callableStatement.getObject(i);
return parseClickHouseArrayToInt(obj);
}
private Integer[] parseClickHouseArrayToInt(Object obj) {
if (obj instanceof ClickHouseArray) {
int[] res = new int[0];
try {
res = (int[]) ((ClickHouseArray) obj).getArray();
} catch (SQLException ex) {
ex.printStackTrace();
}
if (res != null && res.length > 0) {
Integer[] resI = new Integer[res.length];
for (int i = 0; i < res.length; i++) {
resI[i] = res[i];
}
return resI;
}
}
return new Integer[0];
}
}
|
DAO.xml 也给一个示例：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.aegis.analysis.clickhousestorage.dao.UserInfoMapper">
<resultMap id="BaseResultMap" type="com.example.clickhousedemo.model.UserInfo">
<id column="id" property="id" />
<result column="name" property="name" />
<result column="name" property="name" />
<result column="score" property="score" />
<result column="score2" property="score2" />
<result column="state" property="state" />
<result column="createTime" property="createTime" />
<!-- <result column="ranks" property="ranks" jdbcType="JAVA_OBJECT" javaType="java.lang.Object" />-->
<result column="ranks" property="ranks" typeHandler="com.example.clickhousedemo.dao.ClickArrayToIntHandler" />
</resultMap>
<sql id="Base_Column_List">
*
</sql>
<insert id="saveData" parameterType="com.aegis.analysis.clickhousestorage.model.UserInfo" >
INSERT INTO user
(id,name, score, score2, state, createTime, ranks)
VALUES
(#{id},#{name}, #{score}, #{score2}, #{state}, #{createTime}, #{ranks, jdbcType=ARRAY,
typeHandler=com.example.clickhousedemo.dao.ClickArrayToIntHandler})
</insert>
<select id="selectById" resultMap="BaseResultMap">
select
<include refid="Base_Column_List" />
from user
where id = #{id}
limit 1
</select>
<select id="selectList" resultMap="BaseResultMap" >
select
<include refid="Base_Column_List" />
from user
</select>
</mapper>
|
具体代码可以去我的 Git 仓库里查看，还有 SpringBoot 整合其他中间件技术的示例，欢迎 Star！
https://github.com/laolunsi/spring-boot-examples
以上就是如何将Mybatis连接到ClickHouse的详细内容，更多关于Mybatis连接到ClickHouse的资料请关注服务器之家其它相关文章！
原文链接：http://www.eknown.cn/index.php/spring-boot/clickhouse.html