Prometheus和Grafana告警服务创建与对接腾讯云短信告警平台（prometheus_alert）

前言

在一个监控系统中，如果说数据链路是她的骨架，那么告警通知服务就是他的灵魂！所有的监控服务都是为了能够及时通知出来，减少人工查询状态，及时发现问题，避免不必要的大规模故障，为企业*省钱，和保证安全而存在的。

所以能发现问题很重要，更重要的是发现问题赶快让人知道，这就是今天要说的，告警通知服务。

一个开源项目PrometheusAlert

这个项目可以给 很多第三方服务对接 ，进行电话 、短信 等告警方式 ，也是我们要用到的 ，先部署起来。

​​github位置​​

部署方式参考项目中​​README.md​​​的​​部署方式​​​那一节，要注意的是 ，他的配置文件必须在二进制文件的当前目录，​​conf/app.conf​​叫这个名字才会读取。

原因是用到​​beego​​框架 ，默认读取这个位置的配置文件，如果没有符合的二进制文件，可以自己编译。

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=linux GOARCH=arm64 go build -o xxx/monitor_alert/bin/PrometheusAlertLinuxArm64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

GOPATH=xxxx/monitor_alert CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build -o xxx/monitor_alert/bin/PrometheusAlertMacAmd64 xxx/monitor_alert/src/PrometheusAlert/PrometheusAlert.go

根据​​go​​​语言的特性，需要创建一个项目，然后在​​src​​​目录下放这个项目再编译。比如我创建的项目就叫​​monitor_alert​​

部署结束以后保存这个项目链接,这里是我在​​docker​​​里启动得到的链接​​http://172.17.0.3:8080​​

Prometheus告警服务对接

首先你得先搭建起来一整套的​​Prometheus​​​，像上图一样，如果你还没有搭建起来可以看看我之前的文章 ​​这就是Prometheus​​。

安装​​alertmanager​​告警服务（prometheus常用的告警服务）

1. 创建​​alertmanager.yaml​​

global:
  resolve_timeout: 5m
route:
  group_by: ['instance']
  group_wait: 10m
  group_interval: 10s
  repeat_interval: 10m
  receiver: 'web.hook.prometheusalert'
receivers:
- name: 'web.hook.prometheusalert'
  webhook_configs:
  - url: 'http://172.17.0.3:8080/prometheus/alert'

这个配置文件里打开了​​webhook​​​服务，产生告警的时候会自动调用该​​api​​​，这个​​api​​​可以自己定制，我的链接就是上一节部署的服务url,​​http://172.17.0.3:8080/prometheus/alert​​。

2. 启动​​alertmanager​​

使用docker启动，把刚刚创建配置文件挂载上去，暴露端口​​9093​​（默认）

docker run -d -p 9093:9093 -v ~/Documents/code/docker/prometheus/alertmanager.yaml:/etc/alertmanager/alertmanager.yml   --name alertmanager prom/alertmanager:latest

启动效果：

可以在​​Status​​​里看到你刚刚的​​webhook​​配置内容

增加​​prometheus​​与告警相关的配置文件。

1. 创建​​prometheus.rules.yml​​文件

groups:
  - name: node_alert
    rules:
      - alert: 主机CPU告警
        expr: node_load1 > 0.01
        labels:
          name: prometheusalertcenter
          level: 3
        annotations:
          description: "{{ $labels.instance }} CPU load占用过高"
          mobile: 176xxxxxxxx

2. 启动prometheus

用​​docker​​启动

docker run -d -p 9090:9090 -v ~/Documents/code/docker/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml -v ~/Documents/code/docker/prometheus/prometheus.rules.yml:/etc/prometheus/prometheus.rules.yml --name prometheus-server prom/prometheus

注意了​​prometheus.yml​​​的配置文件是参考这篇文章 ​​这就是Prometheus​​。

​​prometheus.rules.yml​​就是刚刚的文件。

启动效果：

看，这里产生告警，你可以修改自己的告警阀值，我这里设置的大于1%就告警所以立马就告警出来了。

稍后短信就出来了。

基于granfna告警对接

1. 新建告警通道

Name任意，Type选webhook，Url配置为 ​​http://172.17.0.3:8080/grafana/txdx​​​，其中的ip就是刚刚安装了​​prometheus_alert​​​服务的ip。
搞定以后选Save保存。

2. 配置各指标的告警规则
   进入面板编辑各个指标

可以先把阀值设置低一些，测试短信发送

加号选中你刚刚设置的告警通道，message 可不写，会自动查询​​grafana​​得到告警情况。

右上角保存

怎么对接到腾讯云短信平台？

服务器出网调用腾讯云短信服务，采用​​加密传输​​​方式。
采用SDKAppID 和 AppKey 作为安全密钥，同时需要短信签名和模板，具体加密方式见​​​腾讯云公有云短信服务加密方式​​

怎么申请

短信服务开通可以访问 ​​腾讯云短信服务​​​，初始会免费赠送100条 。
短信条数不够可以访问​​​购买短信包网页​​

对接准备

1、申请 SDK AppID 以及 App Key： 在开始本教程之前，您需要先获取 SDK AppID 和 App Key，如您尚未申请，请到 ​​短信控制台​​ 中添加应用。应用添加成功后您将获得 SDK AppID 以及 App Key。

注意： SDK AppID 是以 14xxxxx 开头。

2、申请签名： 下发短信必须携带签名，您可以在 短信控制台 中

​​申请国内短信签名​​

注意，假如是*机关在这里需要选择，然后提交资料，其他就按照自己的实际情况填写就好。

3.、申请模板： 下发短信内容必须经过审核，您可以在短信控制台中​​申请短信模板​​

完成以上三项就会拿到​​appid​​​,​​appkey​​​,​​模板 id​​​,​​你的签名​​，四个东西，便可开始填入刚刚的开源项目配置文件，或者自己进行代码开发。

如果喜欢用​​API​​​可以参考 ​​文档​​

开始对接

进入你部署的​​prometheus_alert​​​配置 目录，例如​​xxx/prometheus_alert/conf/​​​目录，编辑​​app.conf​​​文件
找到​​​defaultphone=176xxxxxxxx,123123123​​修改为你要的手机号，可以是单个也可以是多个，多个要用英文半角逗号隔开

修改以下配置​​open-txdx​​为1表示打开腾讯云短信告警

open-txdx=1
TXY_DX_appkey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TXY_DX_tpl_id=54xxxx
TXY_DX_sdkappid=140032xxxx
TXY_DX_sign=你的腾讯云短信平台签名

重启服务使配置生效即可。