ntopng源码分析

时间：2023-12-26 21:52:55

参数初始化以及ntop主流程启动

 #ifndef WIN32

   if((argc == ) && (argv[][] != '-'))

     rc = prefs->loadFromFile(argv[]);

   else

 #endif
//一般启动ntopng的命令: ntopng /etc/ntopng/ntopng.conf 上面的代码就是读取配置文件/etc/ntopng/ntopng.conf里的配置信息。
 prefs->registerNetworkInterfaces();

   if(prefs->get_num_user_specified_interfaces() == ) {

     /* We add all interfaces available on this host */

     prefs->add_default_interfaces();

   }
//通过配置文件配置的interface信息注册可以使用的网卡信息：

//如果没有配置网卡，ntopng会调用pcap的接口去查找所有可用的网卡，并注册。

注：ntopng的配置文件跟命令行参数的输入是一样的 这种统一的配置方式非常方便，值得借鉴。

  // enable all protocols

     NDPI_BITMASK_SET_ALL(all);

     ndpi_set_protocol_detection_bitmask2(ndpi_struct, &all);

    // NetworkInterface类 初始化了协议检查的所有类型，并提供了报文分析的函数。

    if(iface == NULL) {

       try {

     iface = new PcapInterface(ifName);

       } catch(...) {

     ntop->getTrace()->traceEvent(TRACE_ERROR, "Unable to create interface %s", ifName);

     iface = NULL;

       }

     }

    //ntopng 默认使用libpcap来处理网卡抓包，这里默认使用PcapInterface这个类，PcapInterface继承了NetworkInterface类。

    iface->setCPUAffinity(core_id);

    //如果是多核多网卡的服务器，则需要考虑到性能，设置CPU亲和度，保证每个网卡能有对应的CPU处理

   ntop->start();

   //至此，进入抓包解析流程

HTTPServer的初始化端口和lua CGI支持

  ntop->registerHTTPserver(new HTTPserver(prefs->get_http_port(),

                       prefs->get_docs_dir(),

                       prefs->get_scripts_dir()));

   //这里注册http服务器，以便后续的web监控使用。

   callbacks.begin_request = handle_lua_request;

   httpd_v4 = mg_start(&callbacks, NULL, (const char**)http_options);

   //然后调用第三方的http库，启用多线程的httpserver。

   //callbacks包含了处理http中请求lua脚本的功能函数。

 来到third-party/mongoose/mongoose.c文件， 函数mg_start：

   // Start master (listening) thread

   mg_start_thread(master_thread, ctx);

   // Start worker threads

   for (i = ; i < atoi(ctx->config[NUM_THREADS]); i++) {

     if (mg_start_thread(worker_thread, ctx) != ) {

       cry(fc(ctx), "Cannot start worker thread: %d", ERRNO);

     } else {

       ctx->num_threads++;

     }

   }

   //master_thread负责监听，并将accept接受的socket缓存到ctx->queue中；

   //worker_thread负责处理ctx->queue缓存的socket处理http请求。

   static void prepare_lua_environment(struct mg_connection *conn, lua_State *L)

   .....

   // Register "print" function which calls mg_write()

   lua_pushlightuserdata(L, conn);

   lua_pushcclosure(L, lsp_mg_print, );

   lua_setglobal(L, "print");

   // Register mg_read()

   lua_pushlightuserdata(L, conn);

   lua_pushcclosure(L, lsp_mg_read, );

   lua_setglobal(L, "read");

   //上面的代码注册了lua脚本使用的print和read函数。

   //prepare_lua_environment函数使得httpserver支持lua脚本作为CGI语言。
  //后续就可以通过lua脚本来回应web客户端的各种request；

  //lua又通过lua c api的扩展来获取后面报文分析的结果来填充网页的请求。

抓包和报文分析主流程

下面的代码是在src/ntopng.cpp  start函数：
 for(int i=; i<num_defined_interfaces; i++) {

     iface[i]->allocateNetworkStats();

     iface[i]->startPacketPolling();

   }

 //allocateNetworkStats 初始化网络统计功能

 //开始抓包

 //startPacketPolling 注意是一个虚函数，这里是多态，实际是PcapInterface的startPacketPolling 函数。
下面来到src/PcapInterface.cpp文件：
 void PcapInterface::startPacketPolling() {

   pthread_create(&pollLoop, NULL, packetPollLoop, (void*)this);

   pollLoopCreated = true;

   NetworkInterface::startPacketPolling();

 }

 //startPacketPolling函数创建了一个线程，线程主要处理函数是packetPollLoop。

 //static void* packetPollLoop(void* ptr), 就定义在PcapInterface.cpp文件里。

 //packetPollLoop函数开始了报文复制和分析的过程

     FILE *pcap_list = iface->get_pcap_list();

     ......

     hdr->caplen = min_val(hdr->caplen, iface->getMTU());

     iface->dissectPacket(hdr, pkt, &shaped, &p);
//dissectPacket 是NetworkInterface类的成员函数，里面开始了复杂的报文解析流程。。。

//bool dissectPacket(const struct pcap_pkthdr *h, const u_char *packet, bool *shaped, u_int16_t *ndpiProtocol);

//分析出报文的类型之后，将报文传给processPacket函数处理和统计
 bool processPacket(const struct bpf_timeval *when,

              const u_int64_t time,

              struct ndpi_ethhdr *eth,

              u_int16_t vlan_id,

              struct ndpi_iphdr *iph,

              struct ndpi_ipv6hdr *ip6,

              u_int16_t ipsize, u_int16_t rawsize,

              const struct pcap_pkthdr *h,

              const u_char *packet,

              bool *shaped,

              u_int16_t *ndpiProtocol);

 inline void incStats(time_t when, u_int16_t eth_proto, u_int16_t ndpi_proto,

                u_int pkt_len, u_int num_pkts, u_int pkt_overhead) {

     ethStats.incStats(eth_proto, num_pkts, pkt_len, pkt_overhead);

     ndpiStats.incStats(ndpi_proto, , , , pkt_len);

     pktStats.incStats(pkt_len);

     if(lastSecUpdate == ) lastSecUpdate = when; else if(lastSecUpdate != when) updateSecondTraffic(when);

   };

 //因涉及到pcap抓包，所以有些常量是pcap定义的

 #define DLT_NULL    0    /* BSD loopback encapsulation */

 #define DLT_EN10MB    1    /* Ethernet (10Mb) */

 #define DLT_EN3MB    2    /* Experimental Ethernet (3Mb) */

 #define DLT_AX25    3    /* Amateur Radio AX.25 */

 #define DLT_PRONET    4    /* Proteon ProNET Token Ring */

 #define DLT_CHAOS    5    /* Chaos */

 #define DLT_IEEE802    6    /* 802.5 Token Ring */

 #define DLT_ARCNET    7    /* ARCNET, with BSD-style header */

 #define DLT_SLIP    8    /* Serial Line IP */

 #define DLT_PPP        9    /* Point-to-point Protocol */

 #define DLT_FDDI    10    /* FDDI */

 /*

  * These are types that are different on some platforms, and that

  * have been defined by <net/bpf.h> for ages.  We use #ifdefs to

  * detect the BSDs that define them differently from the traditional

  * libpcap <net/bpf.h>

  *

  * XXX - DLT_ATM_RFC1483 is 13 in BSD/OS, and DLT_RAW is 14 in BSD/OS,

  * but I don't know what the right #define is for BSD/OS.

  */

 #define DLT_ATM_RFC1483    11    /* LLC-encapsulated ATM */

 #ifdef __OpenBSD__

 #define DLT_RAW        14    /* raw IP */

 #else

 #define DLT_RAW        12    /* raw IP */

 #endif
相关文章