运维监控应知应会： InfluxDB 使用指南

时间：2021-05-12 01:26:44

InfluxDB是什么

InfluxDB 是一个由 InfluxData 开发的开源时序型数据库。它由 Go 写成，着力于高性能地查询与存储时序型数据。InfluxDB 被广泛应用于存储系统的监控数据，IoT 行业的实时数据等场景。技术特点包括：

  • InfluxDB在技术实现上充分利用了Go语言的特性，无需任何外部依赖即可独立部署[5]。

  • InfluxDB提供了一个类似于SQL的查询语言并且一系列内置函数方便用户进行数据查询。
  • InfluxDB存储的数据从逻辑上由 Measurement, tag组以及field 组以及一个时间戳组成的：

    • Measurement：由一个字符串表示该条记录对应的含义。比如它可以是监控数据 cpu_load ，也可以是测量数据 average_temperature

    • tag组：由一组键值对组成，表示的是该条记录的一系列属性信息。同样的 measurement 数据所拥有的 tag 组不一定相同，它是无模式的(Schema-free)。tag 信息是默认被索引的。

    • field组：也是由一组键值对组成，表示的是该条记录具体的value信息(有名称)。field组中可定义的value类型包括：64位整型，64位浮点型，字符串以及布尔型。Field信息是无法被索引的。

    • 时间戳：就是该条记录的时间属性。如果插入数据时没有明确指定时间戳，则默认存储在数据库中的时间戳则为该条记录的入库时间。

    • InfluxDB 支持基于 HTTP 的数据插入与查询。同时也接受直接基于TCP或UDP协议的连接。

    • InfluxDB 允许用户定义数据保存策略(Retention Policies)来实现对存储超过指定时间的数据进行删除或者降采样。

增删改查操作

进入influxDB命令行

influx -precision rfc3339 

InfluxDB数据库操作

  • 显示数据库
show databases
  • 新建数据库
create database shhnwangjian
  • 删除数据库
drop database shhnwangjian
  • 使用指定数据库
use shhnwangjian

InfluxDB数据表操作

在 InfluxDB 当中，并没有表（table）这个概念，取而代之的是 MEASUREMENTS，MEASUREMENTS 的功能与传统数据库中的表一致，因此我们也可以将 MEASUREMENTS 称为 InfluxDB 中的表。

•  显示所有表

SHOW MEASUREMENTS

•  新建表

InfluxDB中没有显式的新建表的语句，只能通过insert数据的方式来建立新表。

insert disk_free,hostname=server01 value=442221834240i

insert cpu_virtual_used_num,host=1 value=4  1556593150

其中  disk_free  就是表名， hostname 是索引（tag）， value=xx 是记录值（field），记录值可以有多个，系统自带追加时间戳

或者添加数据时，自己写入时间戳

insert disk_free,hostname=server01 value=442221834240i 1435362189575692182

•  删除表

drop measurement disk_free

数据保存策略（Retention Policies）

influxDB是没有提供直接删除数据记录的方法，但是提供数据保存策略，主要用于指定数据保留时间，超过指定时间，就删除这部分数据。

  • 查看当前数据库 Retention Policies
show retention policies on 
"db_name"

show retention policies on cdhnm
  • 创建新的 Retention Policies
create retention policy 
"rp_name" on 
"db_name" duration 3w replication 1 default

create retention policy 
test on cdhnm duration 1h replication 1 default

rp_name： 策略名；

db_name： 具体的数据库名；

3w： 保存3周，3周之前的数据将被删除，influxdb具有各种事件参数，比如：h（小时），d（天），w（星期）；replication 1：副本个数，一般为1就可以了；

default： 设置为默认策略

  • 修改 Retention Policies
alter retention policy “rp_name” on “db_name” duration 30d default

alter retention policy autogen on cdhnm duration 1h default
  • 修改数据策略
alter retention policy autogen on cdhnm duration 0h replication 1 default
  • 删除 Retention Policies
drop retention policy “rp_name” on “db_name
"

drop retention policy test on cdhnm

查询数据 

select * from  cpu_virtual_used_num

插入数据

插入数据同时创建表

insert disk_free,hostname=server01 value=442221834240i

insert cpu_virtual_used_num,host=470b14f0-e869-43ed-a8e6-fd634258271f,hostname=server01 value=0.3 1557023160 

删除数据

influxDB是没有提供直接删除数据记录的方法，但是提供数据保存策略，主要用于指定数据保留时间，超过指定时间，就删除这部分数据。创建新的 数据库过期策略至少一个小时

Retention Policies

create retention policy 
"rp_name" on 
"db_name" duration 3w replication 1 default

retention policy duration must be at least 1h0m0s influxdb

查询表字段

查询tag： show tag keys from cluster_metric

查询field： show field keys from cluster_metric

时区问题

在使用 InfluxDB 时，发现由于 InfluxDB 使用的是 UTC 时间，在查询时经常会遇到时区的问题

1、时间格式

InfluxDB 除了支  epoch_time 外，还支持 rfc3339_date_time_string 和 rfc3339_like_date_time_string。

epoch_time

理论一些的解释是从协调世界时（Thursday, 1 January 1970）开始至今过去的时间。比如我们在 java 程序中使用 System.currentTimeMillis() 得到的就是这个时间。一般情况下为毫秒级（ms）精度，即13位Long类型。而在InfluxDB中，时间戳的精度可以达到纳秒级（ns）即19位Long类型。

rfc3339_date_time_string

rfc3339时间格式是ietf协会定义的一种时间格式，这个名字是因为它被定义在rfc3339中。感兴趣的同学可以自己查看上面的连接。InfluxDB中rfc3339的时间格式是这样的：

‘YYYY-MM-DDTHH:MM:SS.nnnnnnnnnZ’

其中 nnnnnnnnn 是可选的，如果不写则会被设置为000000000。注意，如果使用这种时间格式，需要使用单括号（’）将时间括起来。

rfc3339_like_date_time_string

因为rfc3339_date_time_string的格式确实比较反人类，所以InfluxDB也支持这种人类阅读更友好的格式：

‘YYYY-MM-DD HH:MM:SS.nnnnnnnnn’

其中HH:MM:SS.nnnnnnnnn是可选的，如果不填写会被设置为00:00:00.000000000。所以查询时可以设置到天、小时、分钟、秒等不同精度。这种时间格式同样要求被单括号括起来。

2、调整时间戳精度

InfluxDB默认东时间是纳秒（ns），即19位时间戳。但是一般情况下时间精度不会这么高。所以如果使用秒级精度查询：

select * from cpu_virtual_used_num 
where time >= 1435333209s and time <= 1542964713s

如果使用毫秒级精度查询：

select * from cpu_virtual_used_num 
where time >= 1435333209000ms and time <= 1542964714000ms

3、调整时区

如果需要使用北京时间（东八区），可以在SQL中使用 tc 关键字：

select * from cpu_virtual_used_num 
where time >= 
'2018-11-23 14:30:39' and time <= 
'2019-11-23 14:32:32' tz(
'Asia/Shanghai')

4、UTC时间与Beijing时间转换

Timestamp时间列

既然是时间序列数据库，influxdb 的数据都有一列名为 time 的列，里面存储 UTC 时间戳。

Influxdb 时间转成北京时间：UTC time + 8 hours = Beijing time

sql语句 

influx -precision rfc3339 

show retention policies on cdhnm

alter retention policy autogen on cdhnm duration 1h default

create retention policy 
test on cdhnm duration 1h replication 1 default

drop retention policy 
test on cdhnm 

insert cpu_virtual_used_num,host=470b14f0-e869-43ed-a8e6-fd634258271f,hostname=server01 value=0.9 1557045292000000000

select * from cpu_virtual_used_num 
where time >= 
'2018-11-23 14:30:39' and time <= 
'2019-11-23 14:32:32' tz(
'Asia/Shanghai')

delete from cpu_virtual_used_num

启动服务 

切换到root用户

命令：su

输入密码：123456

启动：

sudo service influxdb start

重启：

service influxdb restart

切换到普通用户：

命令： exit


相关文章