日志分析研讨会议纪要

时间:2022-10-01 17:28:44

参会人员:
沈毅,陈洪杰,李玮,刘顺睿,牛涛,石勇,唐庆梅,杨磊,杨庆敏,杨英辉,冯舸,顾谊
会议议程:
数据采集配置文件统一接口定义
zabbix脚本采集系统资源
研讨上月反馈的几条需求并确定8月工作目标
会议纪要:
1. 数据采集
1) 用zabbix部分脚本采集系统资源数据,输出数据中加入时间戳,数据采集粒度为2秒
2) 采集CPU、内存、IO、磁盘、网络数据资源按网管进程过滤,以时间为X轴对数据进行可视化
a)CPU:占用百分比
b)内存:占用总数,占用百分比,PID,虚拟内存,JVM默认值(最大,最小)
c)IO:IO传输总量,读总量,写总量,块读速度,块写速度
d)磁盘:考虑到EMS有这个功能,优先级降低一点,暂时不做
e)网络:统计带宽数据,暂时不做
3) 数据库连接数统计:按每小时统计一次
4) 进程的线程数据统计
5) 数据采集配置文件配置项确定为:节点名称(IP+环境信息),采集粒度,数据汇总主节点IP
6) 上月穿刺遗留的用户操作数据,后续先直接入库做简单统计
7) 9月性能COP会议上进行,系统资源模型showcase(采集、入库、分析可视化)
2. 数据表结构
1) IO数据表:IP,TIMESPAN,TPS,RTPS,WTPS,BREAD,BWRTNS,DB_CONNECTION_NUB(数据库连接数)
2) 进程CPU_内存表:IP,TIMESPAN,PCPU,PID,PMEN,VSZ,PROCESS_NAME
3. 趋势图原型
1) IO数据可视化原型:

2) 进程资源可视化原型:

3) 数据库连接数可视化原型:

其他事项:
1. 性能子COP