ebtables hook

时间:2021-05-01 03:13:47

1 概述

netfliter框架不仅仅在ipv4中有应用,bridge,ipv4,ipv6,decnet 这四种协议中都有应用,其中ipv4中又分开了arp和ip的两种

其实netfliter是个大的框架,在ipv4中对应的应用层工具是iptables,在bridge中对应的应用层工具是ebtables,在arp中对应的应用层工具是arptables

iptables 中有raw,filter,nat,mangle,security,5个table,

ebtables 中有broute,filter,nat,3个table,

arptables 中有filter,1个table

具体的可以查看源码目录linux/net/目录下的ipv4,ipv6,decnet,bridge目录下的netfilter

2 一些概念

2.1 三层hook函数的优先级

enum nf_ip_hook_priorities {

NF_IP_PRI_FIRST = INT_MIN,

NF_IP_PRI_CONNTRACK_DEFRAG = -400,

NF_IP_PRI_RAW = -300,

NF_IP_PRI_SELINUX_FIRST = -225,

NF_IP_PRI_CONNTRACK = -200,

NF_IP_PRI_MANGLE = -150,

NF_IP_PRI_NAT_DST = -100,

NF_IP_PRI_FILTER = 0,

NF_IP_PRI_SECURITY = 50,

NF_IP_PRI_NAT_SRC = 100,

NF_IP_PRI_SELINUX_LAST = 225,

NF_IP_PRI_CONNTRACK_HELPER = 300,

NF_IP_PRI_CONNTRACK_CONFIRM = INT_MAX,

NF_IP_PRI_LAST = INT_MAX,

};

2.2 二层hook 函数的优先级

enum nf_br_hook_priorities {

NF_BR_PRI_FIRST = INT_MIN,

NF_BR_PRI_NAT_DST_BRIDGED = -300,

NF_BR_PRI_FILTER_BRIDGED = -200,

NF_BR_PRI_BRNF = 0,

NF_BR_PRI_NAT_DST_OTHER = 100,

NF_BR_PRI_FILTER_OTHER = 200,

NF_BR_PRI_NAT_SRC = 300,

NF_BR_PRI_LAST = INT_MAX,

}

2.3 hook点,hooknum,hook函数

三层(ip)有5个hooknum,分别是pre_routing,local_in,forward,local_out,post_routing

二层(bridge)有6个hooknum,分别是

pre_routing,local_in,forward,local_out,post_routing,brouting,

在头文件./uapi/linux/netfilter_bridge.h ./uapi/linux/netfilter_ipv4.h 可看到

linux/net/netfilter 是整个netfilter框架的代码,不同的协议下面的netfilter是调用的代码

hook函数,就是我们自定义的那些函数,函数优先级,数值越大的,优先级越小

一个hook点是由协议和hooknum两者决定的,nf_hooks[pf][hooknum],因此,协议不一样,hooknum一样也是不一样的hook点的,ipv4的协议是NFPROTO_INET,bridge的协议是NFPROTO_BRIDGE,而只有同一个hook点的函数才会有优先级的问题。因此,在正常情况下,同一个数据包在某一层中只会遍历某一种协议的hook点,是一个水平分层的问题,虽然都注册在netfilter框架下,可是协议决定了这是一个水平的流程。当数据包上到另外一层那就是另外一层的水平。

但是有一些地方在三层的改变会影响二层的结构的,比如像ip-DNAT的,改变了三层的daddr,那么对应的二层的dmac地址也是会跟着改变的,那么这个应该在routing之前还是应该在brigding之前做呢?按道理虽然改的是三层的内容,但是这个应该在brigding之前做的,这样在二层选择出口的时候,才不会错。所以其实二层中有些地方是有穿插三层的hook点的调用的,所以整个结构看起来才会不那么清晰(后面的函数分析会证实这个想法)

hooknum 和pf 决定了hook点,hook点上面有hook函数,根据优先级来进行hook函数的调用。

NF_HOOK 这个宏就是遍历给定的hook点(nf_hooks[pf][hooknum])上面的所有hook函数

在整个网络协议栈(包括二层的)上面的不同位置的NF_HOOK的作用就是遍历不同的hook点上hook函数,这就是netfilter做的事情

3 数据包在网桥的流转

3.1 接收入口函数

netif_rx

netif_receive_skb(skb)-->netif_receive_skb_internal()->__netif_receive_skb()-> __netif_receive_skb_core()

netif_rx 是上层处理函数中最接近驱动层的函数,往queue里面放skb

netif_receive_skb 是最接近上层处理函数的入口函数,在软中断中执行,在queue中取完skb后的处理函数

netif_rx 和netif_receive_skb的关系还没有搞的很明白,两者没有明显的调用关系,在驱动中两者都有调用,

__netif_receive_skb_core 是真正处理skb的函数,到底接着数据包是怎么走的,在这里判断的

对于网桥的数据包,就是rx_handler = br_handle_frame,在调用这个函数之前已经调用了skb_vlan_untag把二层头包含vlan信息的部分去掉,

并且把vlan信息记录在skb->vlan_proto(协议),和skb->vlan_tci(优先级和id)

即bridge的入口函数是br_handle_frame,在br_input.c

br_handle_frame 主要有两个分支有NF_HOOK的调用的,如下:

|---link-local----      NF_HOOK(NFPROTO_BRIDGE,NF_BR_LOCAL_IN,..,br_handle_local_finish) 
|---forward--          NF_HOOK(NFPROTO_BRIDGE, NF_BR_PRE_ROUTING, ...,br_handle_frame_finish)

link-local :dmac是本地链路地址。至于什么是本地链路地址,可以google,只知道在ipv6中(fe80)用得比较多,其他没什么了解

br_handle_frame_finish 这个函数对数据包的dmac进行判断,然后走不同的处理函数.

dmac 的不同的,处理方式不同:

A.bridge it,如果dmac是在网桥的别的端口,复制一份帧到dmac所在的端口                    ---->br_forward

B.flood it over all the forwarding bridge ports,如果dmac地址是网桥不知道的,就泛洪     ---->br_flood_forward

C.pass it to the higher protocol code,如果dmac是网桥的,或者网桥其中一个端口的        ---->br_pass_frame_up

D.ignore it,dmac在进来的端口的这一边的,即dmac能在进来端口的mac地址表中找到             ---->br_forward

3.2 转发

br_forward,通过should_deliver()来进行判断,是否真的需要__br_forward 还是 ignore it,

__br_forward->NF_HOOK(NFPROTO_BRIDGE, NF_BR_FORWARD, ... skb->dev,br_forward_finish) ,

__br_forward 函数改变了skb->dev

br_forward_finish->NF_HOOK(NFPROTO_BRIDGE,NF_BR_POST_ROUTING,skb,NULL,skb->dev,br_dev_queue_push_xmit);

br_dev_queue_push_xmit->dev_queue_xmit

br_flood_forward->br_flood(br, skb, skb2, __br_forward, unicast)->__br_forward

same as __br_forward

3.3 local_in

br_pass_frame_up->NF_HOOK(NFPROTO_BRIDGE, NF_BR_LOCAL_IN, skb, indev,NULL,netif_receive_skb)

3.4 发送入口函数

对于二层以上的层,只有网桥这个接口,没有其绑定的ethx了(通过路由表可知),网桥的发送函数是br_dev_xmit

在br_dev_xmit 也会根据dmac判断是进行br_multicast_deliver,br_deliver,

还是br_flood_delver,但是最后调用都是__br_deliver

__br_deliver-> NF_HOOK(NFPROTO_BRIDGE, NF_BR_LOCAL_OUT, skb, NULL,skb->dev,br_forward_finish)

br_forward_finish->NF_HOOK(NFPROTO_BRIDGE,NF_BR_POST_ROUTING,skb,NULL,skb->dev,br_dev_queue_push_xmit);

br_dev_queue_push_xmit->dev_queue_xmit

3.5 结论

根据上面的分析,通过网桥进来的数据包会经过的hook点跟在三层的是一样的

本地的会经过pre_routing 和local_in, 转发的会经过pre_routing,forward,post_routing ,
而本地出去的会经过local_out,post_routing

4 二层调用三层的hook函数的实现

4.1 NF_HOOK 和NF_HOOK_THRESH的区别

NF_HOOK 封装了NF_HOOK_THRESH ,是特殊的NF_HOOK_THRESH, 是从优先级最高的hook函数开始的

NF_HOOK_THRESH,

static inline int NF_HOOK{

return NF_HOOK_THRESH(pf, hook, skb, in, out, okfn, INT_MIN)

4.2 br_netfilter.c分析

二层hook点中调用三层的hook的实现主要在linux/net/bridge/br_netfilter.c ,这个函数注册了7个hook函数,其中5个是NFPROTO_BRIDGE协议的,2个分别是NFPROTO_IPV4,NFPROTO_IPV6的

NFPROTO_BRIDGE的5个函数分别是br_nf_pre_routing,br_nf_local_in,br_nf_forward_ip,

br_nf_forward_arp,br_nf_post_routing的,br_nf_forward_ip 优先级是 -1,其他优先级都是0,

NFPROTO_IPV4/6 的两个都是在pre_routing hook点,优先级是first,hook函数都是ip_sabotage_in,这个函数的作用就是防止多次调用三层pre_routing hook点的hook函数

因此目前看到的在NFPROTO_BRIDGE协议下系统注册了的钩子函数的顺序如下:

pre_routing  ebt_nat_in(dnat)->br_nf_pre_routing

local_in     ebt_in_hook(filter)->br_nf_local_in

forward      ebt_in_hook(filter)->br_nf_forward_ip->br_nf_forward_arp

local_out     ebt_nat_out(dnat_other)->ebt_out_hook(filter_other)

post_routing  ebt_nat_out(snat)->br_nf_post_routing(last)

(1). br_nf_pre_routing->NF_HOOK(NFPROTO_IPV4, NF_INET_PRE_ROUTING, skb, skb->dev,NULL,br_nf_pre_routing_finish)

br_nf_pre_routing_finish->NF_HOOK_THRESH(NFPROTO_BRIDGE, NF_BR_PRE_ROUTING, skb,skb->dev, NULL,br_handle_frame_finish, 1);

到br_handle_frame_finish 就走完了pre_routing的钩子了,其实NF_HOOK_THRESH 就是为了走完pre_routing 优先级大于1的钩子函数

正常的数据包走br_hadnle_frame 进来调用了一次NF_HOOK ,执行NFPROTO_BRIDGE的pre_routing的hook点中的hook函数,当执行到      br_nf_pre_routing这个钩子函数的时候,会先去调用一次三层的pre_routing的所有hook函数,然后再回到br_nf_pre_routing_finish

因为在br_nf_pre_routing 中返回值是NF_STOLEN,所以在br_handle_frame调用的

NF_HOOK(NFPROTO_BRIDGE, NF_BR_PRE_ROUTING, ...,br_handle_frame_finish),

到br_nf_pre_routing 就结束了,所以会有在br_nf_pre_routing_finish->NF_HOOK_THRESH()的过程,是为了重新接上pre_routing 后面的hook函数

有了这个函数br_nf_pre_routing,就可以对只经过二层的数据包做三层的dnat,

(2).br_nf_local_in->nothing ,

(3).br_nf_forward_ip->NF_HOOK(pf, NF_INET_FORWARD, skb, brnf_get_logical_dev(skb, in),parent,br_nf_forward_finish),pf=INET/INET6

bf_nf_forward_finish->NF_HOOK_THRESH(NFPROTO_BRIDGE,NF_BR_FORWARD,skb, in,skb->dev, br_forward_finish, 1);

这里主要是经过了3层的forward hook点,就是经过二层走的数据包可以在三层的forward链做过滤,主要是结合physdev模块做indev和outdev的过滤。继续NF_HOOK_THRESH的时候,会走到优先级是1的hook函数那里,跳过了br_nf_forward_arp,因为一个skb->protocol,只能是一种,不可能既是ip,也是arp,既然在br_nf_forward_ip中能走到br_nf_forward_finish就证明这是个ip包了,如果不是ip包,在一开始就会返回NF_ACCEPT,让其继续走原来的遍历顺序

br_nf_forward_arp->NF_HOOK(NFPROTO_ARP,NF_ARP_FORWARD,skb, (struct net_device*)in,(struct net_device *)out,br_nf_forward_finish);

这个就在ARP的forward链上做过滤

注意两个NF_HOOK中传进去的indev和outdev 的区别,不一样的

(4).br_nf_post_routing->NF_HOOK(pf, NF_INET_POST_ROUTING, skb, NULL,realoutdev,br_nf_dev_queue_xmit)

注意br_nf_post_routing 的优先级是last,

在post_routing中也先判断,数据包是否是经过bridge的了,如果是从

ip/local_out->bridge/local_out,或者直接bridge/local_out的数据包都没有必要再经过一次ip/post_routing,即只有经过bridge转发的包,
才需要经过ip/post_routing

4.3 防止多次调用三层hook点的hook函数

ip_sabotage_in 在NFPROTO_IPV4/6的pre_routing 的first,如果是从网桥上来到三层的数据包,其实三层的pre_routing已经做过了,这个函数

就是控制如果是从网桥上来的数据包就返回NF_STOP ,停止这个hook点的后续hook函数的检查,并且接受数据包(防止两次走过三层的pre_routing),如果不是从网桥上来的包,就返回NF_ACCEP ,继续做这个hook点的hook函数的检查的

根据4.2 可知,在二层只有pre_routing,forward,post_routing 三个hook点会调用到三层对应hook点的hook函数,而只有经过
bridge/pre_routing->bridge/local_in->ip/pre_routing这样路径进来的数据包才需要在ip/pre_routing的位置判断是否是网桥上来的包,如果是网桥上来的就不再需要遍历这个hook点剩下的hook函数了.其他的路径,都不可能同时经过二层和三层的同一个hook点,

所以只需要在ip/pre_routing的first的位置注册ip_sabotage_in,就可以了,ip/forward,ip/post_routing 都不需要

5 brouting hook点

brouting的调用不是通过NF_HOOK 这种传统的方式来进行的,而且系统没有通过nf_register_hooks 这种方式注册对应的hook函数,

只是把一个函数赋值给了一个在br_input.c 中定义的br_should_route_hook_t

*br_should_route_hook 这个变量

然后通过这个变量来进行函数的调用,真正的函数是net/bridge/netfilter/ebtable_broute.c 中的ebt_broute

ebtable 有三个表,分别是

broute:系统没有注册有hook函数,允许注册的hook点只有一个就是brouting

nat:pre_routing(dnat),post_routing(snat),local_out(dnat_other)

filter:local_in,forward,local_out(other)

STP 最小生成树协议的5中状态

#define BR_STATE_DISABLED 0

#define BR_STATE_LISTENING 1

#define BR_STATE_LEARNING 2

#define BR_STATE_FORWARDING 3

#define BR_STATE_BLOCKING 4

DISABLE:   什么功能都没有,只有一个逻辑设备。

LISTENING: 可以接收和发送网络传输的BPDU,包括Configureation BPDU和TCN BPDU,但不能进行数据帧的转发、不能学习。

LEARNING:  可以接收和发送BPDU,可以学习,但是不能进行数据帧的转发。

FORWARDING:可以接收和发送BPDU、可以学习、可以进行数据帧的转发。

BLOCKING:  只能接收BPDU,不能发送BPDU,不能学习,不能转发数据帧。

至于什么是BPDU 这个可以去看看linux-bridge的最小生成树的相关知识

在br_handle_frame函数的forward 标签下,

如果p->state 是FORWARDING的才会调用到brouting的hook点的唯一的hook函数ebt_broute,这个是在pre_routing 的调用之前的,
这里是以调用函数的方式来做ebtable的规则的,而不是遍历hook点上面的hook函数来做ebtables上面的规则的,因此,如果想自定义
hook函数,估计要改源码,即brouting这个hook点,只提供了用户接口,没有提供开发接口

至于p->state (端口状态)是什么时候进行状态转换的?还不清楚

网卡新建为一个网桥的端口的时候状态是BR_STATE_DISABLED,

6 结论

经过二层的数据包会经过的hook点如下:
ebtables hook
不知道怎样把大图弄上CU,只能用viso画了,然后截图上去了,有点模糊

还有一篇从ebtables的使用角度分析的文章,个人感觉不错的,也贴在这里了
http://ebtables.netfilter.org/br_fw_ia/br_fw_ia.html