eBPF 实践 -- 网络可观测

时间：2022-11-16 17:08:57

简介

观测云采集器，是一款开源、一体式的数据采集 Agent，它提供全平台操作系统支持，拥有全面数据采集能力，涵盖基础设施、指标、日志、应用性能、用户访问以及安全巡检等各种场景。通过 eBPF 技术的引入，观测云采集器实践了网络传输层和应用层的部分协议的可观测。

 

采集器架构

  • 采集管理：配置加载模块用于配置动态管理与采集插件的开启关闭；监视器模块用于查看采集器资源使用、采集插件开启、数据处理器脚本工作状况、采集器外部数据接入API 的响应与延迟信息等

  • 数据采集：采集器不仅可以通过内置插件进行数据采集，还能接入外部数据源，如云原生计算基金会下的可观测项目 OTEL 的链路、指标数据等

  • 数据清洗：在采集插件生成数据后和数据上传之间的数据清洗层，用户可以通过编程介入，如使用可编程数据处理器的语言编写脚本修改 Point ，使用内置函数分析提取网络数据中 IP 归属的城市、省份和国家到 Point 中；脚本支持动态加载和卸载

  • 数据上传：采集器对各种数据进行分类上传，类别有日志、指标、链路、网络等，所有类别的数据均使用 Point 结构封装，每一个 Point 代表一条数据，大致由四个部分：名字、 标签字典、字段字典以及时间戳构成 （其名字可以是指标名 cpu， 日志来源 nginx ，网络的 httpflow等）

  • eBPF 实践 -- 网络可观测

     

    eBPF 技术应用

    观测云采集器使用了三种类型的 eBPF 程序：socket filter、kprobe、uprobe，能够抓取以太网帧、跟踪与 socket 和 TCP/IP 协议栈相关的内核函数以及用户共享库函数，实现网络协议可观测。下图介绍观测云采集器如何实践 eBPF 技术进行主机上的网络观测。

     eBPF 实践 -- 网络可观测

    数据采集

    观测云采集器的 eBPF 网络观测功能采集并生成了三个数据集，分别为 netflow, dnsflow 和 httpflow，其 tag 基本相同，以下是其 tag 名与描述。

     

    Tag 名 描述
    src_ip 源 IP
    dst_ip 目标 IP
    src_port 源端口
    dst_port 目标端口
    transport tcp 或 udp
    family IPv4 或 IPv6
    direction 传输方向（incoming/outgoing）
    srciptype 源 IP 类型 (other/private/multicast)
    dstiptype 目标 IP 类型 (other/private/multicast)
    host 主机名
    source 数据源（netflow,httpflow,dnsflow）
    pid 进程 id，仅 netflow
    dst_domain 仅 netflow，来自 dnsflow 抓包记录
    srck8snamespace 源 service 归属的 namespace
    srck8sdeployment_name 源 serivce 归属的 deployment
    srck8sservice_name 源 service
    srck8spod_name 源 pod
    dstk8snamespace 目标 service 归属的 namespace
    dstk8sdeployment_name 目标 serivce 归属的 deployment
    dstk8sservice_name 目标 service
    dstk8spod_name 目标 pod
    sub_source 子来源，默认 N/A，如若为 Kubernetes 流量则为 K8s

     

    传输层网络观测

    • 采集器使用 kprobe 类型 eBPF 程序获取部分内核函数的输入与返回值

    • 通过 inetbind(6) 函数判断 srcip + src_port 是否为服务端

    • 通过协议栈 tcp\udp 以及 ip 相关的内核函数，获取服务与客户端之间的流量大小以及 TCP 协议的连接的建立与关闭次数、重传和 RTT 信息

      Field 名 描述
      bytes_read 接收字节数
      bytes_written 发送字节数
      retransmits 重传次数
      rtt rtt
      rtt_var rtt_var
      tcp_closed TCP 连接关闭次数
      tcp_established TCP 连接建立次数

       

      应用层网络观测

      • 采集器使用 AF_PACKET + BPF 在采集器上分析 DNS 请求，以支持 CentOS(RedHat)7.6 (其不支持 socket filter 类型 eBPF 程序)，记录请求信息支持 netflow 进行域名反向解析；

      • 对于 HTTP 请求使用 socket filter 和 uprobe 类型 eBPF 程序实现 HTTP(S) 请求分析。

      下面的为采集 dns 协议生成的字段 和 http 协议生成字段。

       

      Field 名（dns） 描述
      count 一个采集周期内的请求总数
      latency DNS 平均请求响应时间间隔
      latency_max DNS 最大请求的响应时间间隔
      rcode DNS 响应码: 0 - NoError, 1 - FormErr, 2 - ServFail, 3 - NXDomain, 4 - NotImp, 5 - Refused, ...

       

      Field 名（http） 描述
      count 一个采集周期内的请求总数
      http_version 1.1 / 1.0 ...
      latency TTFB
      method GET/POST...
      path 请求路径
      status_code 状态码，如 200, 301, 404 ...
      truncated 请求路径长度达到采集的(约 150)字节上限，存在截断可能

       

      用户地理分布及 TCP 时延

      通过内置数据处理器编写脚本，来解析 ip 并获取 ip 归属的省份、国家等信息作为标签追加到生成的 Point 上，并在观测云前端创建仪表板。下图通过世界地图和中国地图展示 netflow 中客户端 ip 的地理分布和服务端之间的 tcp 时延。eBPF 实践 -- 网络可观测

       

       

      主机间四层网络拓扑

      下图为当前工作空间内部署了观测云采集器并开启了 eBPF 网络采集器的主机间的网络拓扑图，图上我们可以看到主机间的数据发送与接受的字节数和网络波动等信息。eBPF 实践 -- 网络可观测

       

       

      K8s Pod 间网络拓扑

      当 eBPF 采集插件获取到 K8S 的 ip 和端口信息后将自动追加到生成的数据上，通过观测云前端构建不同的网络拓扑图，下图是构建的 Pod 网络拓扑关系图。eBPF 实践 -- 网络可观测

       

       

      K8s Deployment 间网络拓扑

      下图是构建的 Deployment 网络拓扑关系图，从图中可以看到 nginx deployment 上的 HTTP 协议的每秒请求数和请求错误率。eBPF 实践 -- 网络可观测

       

       

相关文章