TCP/IP Checksum 吐槽

时间:2022-09-21 14:51:40

算法原理:

假定 output[2] 为输出结果,input[n]为待计算校验和的内存块。

1)所有奇数位[0,2,4……] byte 累加进 结果的奇数位内存 output[0],如果溢出,则进位给偶数位的 output[1];

2)所有偶数位[1,3,5……] byte 累加进 结果的偶数位内存 output[1],如果溢出,则进位给奇数位的 output[0];

3)最后对 output[2] 求反码即可

示例代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import struct
import sys def ip_cksum(s): a = 0
b = 0 # 偶数序号的 unsigned char 互相累加
for i in xrange(0, len(s), 2):
a += struct.unpack('B', s[i])[0] # 奇数序号的 unsigned char 互相累加
for i in xrange(1, len(s), 2):
b += struct.unpack('B', s[i])[0] # 缩小值为 unsigned char
while a > 256 or b > 256:
b += a/256 # a 超过 byte 的部分进位给 b
a = a%256 a += b/256 # b 超过 byte 的部分进位给 a
b = b%256 # 取反
a = ~a & 0xff
b = ~b & 0xff # 校验和作为字符串
v = chr(a) + chr(b) # 校验和作为 unsigned short
v = struct.unpack('H', v)[0] return v if __name__ == '__main__':
for i in sys.argv[1:]:
print ip_cksum(i)

关于TCP/IP 校验和计算的代码,网上很多,但不少都有些问题,这里作一番简单分析

1.最尾部 byte 处理依赖机序

来自 http://locklessinc.com/articles/tcp_checksum/ 的 C 代码片段:

 unsigned short checksum1(const char *buf, unsigned size)
{
unsigned sum = ;
int i; /* Accumulate checksum */
for (i = ; i < size - ; i += )
{
unsigned short word16 = *(unsigned short *) &buf[i];
sum += word16;
} /* Handle odd-sized case */
if (size & )
{
unsigned short word16 = (unsigned char) buf[i];
sum += word16;
} /* Fold to get the ones-complement result */
while (sum >> ) sum = (sum & 0xFFFF)+(sum >> ); /* Invert to get the negative in ones-complement arithmetic */
return ~sum;
}

注意第16行,对于buffer 长度非偶数情况的处理, 导致此代码只可在 Little-Endian (如x86) 机器上运行。只需对最后一个 byte 补一个’\0'的 byte,凑够两个 byte 然后转为 unsinged short 相加即可。

2.多内存块的计算

来自 python 网络包创建、解析库 dpkt 的代码 dpkt.py

 try:
import dnet
def in_cksum_add(s, buf):
return dnet.ip_cksum_add(buf, s)
def in_cksum_done(s):
return socket.ntohs(dnet.ip_cksum_carry(s))
except ImportError:
import array
def in_cksum_add(s, buf):
n = len(buf)
cnt = (n / 2) * 2
a = array.array('H', buf[:cnt])
if cnt != n:
a.append(struct.unpack('H', buf[-1] + '\x00')[0])
return s + sum(a)
def in_cksum_done(s):
s = (s >> 16) + (s & 0xffff)
s += (s >> 16)
return socket.ntohs(~s & 0xffff)

它这里会有两个实现,一个是调用dnet库的实现(见2-6行),一个是用python自己实现的版本(见8-19行)。
dnet 库是 C 实现的一个库,但和 dpkt 库是同一个作者,这里都有一个共同的问题:对于 in_cksum_add 进的内存块,如果为奇数长度,则尾部会追加一个byte '\x00' (见14行),这里就导致了问题。其实呢,尾部的那个 byte 应该留给下一个接下来的内存块一起计算,当且仅当所有的内存块都处理完毕(即 in_cksum_done 时),多余一个 byte 时才该追加 byte '\x00'。

3.经典的实现

来自 wireshark 的 in_cksum.c

 /*
* Checksum routine for Internet Protocol family headers (Portable Version).
*
* This routine is very heavily used in the network
* code and should be modified for each CPU to be as fast as possible.
*/ #define ADDCARRY(x) {if ((x) > 65535) (x) -= 65535;}
#define REDUCE {l_util.l = sum; sum = l_util.s[0] + l_util.s[1]; ADDCARRY(sum);} int
in_cksum(const vec_t *vec, int veclen)
{
register const guint16 *w;
register int sum = ;
register int mlen = ;
int byte_swapped = ; union {
guint8 c[];
guint16 s;
} s_util;
union {
guint16 s[];
guint32 l;
} l_util; for (; veclen != ; vec++, veclen--) {
if (vec->len == )
continue;
w = (const guint16 *)(const void *)vec->ptr;
if (mlen == -) {
/*
* The first byte of this chunk is the continuation
* of a word spanning between this chunk and the
* last chunk.
*
* s_util.c[0] is already saved when scanning previous
* chunk.
*/
s_util.c[] = *(const guint8 *)w;
sum += s_util.s;
w = (const guint16 *)(const void *)((const guint8 *)w + );
mlen = vec->len - ;
} else
mlen = vec->len;
/*
* Force to even boundary.
*/
if (( & (unsigned long) w) && (mlen > )) {
REDUCE;
sum <<= ;
s_util.c[] = *(const guint8 *)w;
w = (const guint16 *)(const void *)((const guint8 *)w + );
mlen--;
byte_swapped = ;
}
/*
* Unroll the loop to make overhead from
* branches &c small.
*/
while ((mlen -= ) >= ) {
sum += w[]; sum += w[]; sum += w[]; sum += w[];
sum += w[]; sum += w[]; sum += w[]; sum += w[];
sum += w[]; sum += w[]; sum += w[]; sum += w[];
sum += w[]; sum += w[]; sum += w[]; sum += w[];
w += ;
}
mlen += ;
while ((mlen -= ) >= ) {
sum += w[]; sum += w[]; sum += w[]; sum += w[];
w += ;
}
mlen += ;
if (mlen == && byte_swapped == )
continue;
REDUCE;
while ((mlen -= ) >= ) {
sum += *w++;
}
if (byte_swapped) {
REDUCE;
sum <<= ;
byte_swapped = ;
if (mlen == -) {
s_util.c[] = *(const guint8 *)w;
sum += s_util.s;
mlen = ;
} else
mlen = -;
} else if (mlen == -)
s_util.c[] = *(const guint8 *)w;
}
if (mlen == -) {
/* The last mbuf has odd # of bytes. Follow the
standard (the odd byte may be shifted left by 8 bits
or not as determined by endian-ness of the machine) */
s_util.c[] = ;
sum += s_util.s;
}
REDUCE;
return (~sum & 0xffff);
}

1)92行是当前内存块还余一个 byte ,则会 s_util 等待下个内存卡再处理——恰当的处理前面提到的第二个问题

2)94行是所有内存块处理完毕后,对尾部最后一个 byte 的处理 ——恰当的处理了前面提到的第一个问题

3)看点:指针非对齐的情况下处理

50行会先将未对其的1个 byte 暂存,这样可迫使指针对齐,但又为了让同奇位、同偶位内存相加,所以使 sum<<8;81行,如果前面sum是已经左移过的,则再次 sum<<8,让sum回归最初的奇偶次序

注:REDUCE 宏实现的功能是将大于 short 的值(即大于65535)转化为 short 能表示的值.

TCP/IP Checksum 吐槽的更多相关文章

  1. TOE&lpar;TCP&sol;IP Offload Engine&rpar;网卡与一般网卡的区别

    TCP减压引擎,第一次听说这个名词,但是并不是一个新的概念了,若干年前听说过设备厂商在研究在FPGA之中实现TCP Stack,但是后来没有听到任何的产品出来,应该是路由设备to host的traff ...

  2. WireShark抓包时TCP数据包出现may be caused by ip checksum offload

    最近用WireShark抓包时发现TCP数据包有报错:IP Checksum Offload,经过查阅资料终于找到了原因 总结下来就是wireshark抓到的数据包提示Checksum错误,是因为它截 ...

  3. 【转】TCP&sol;IP协议栈及OSI参考模型详解

    OSI参考模型 OSI RM:开放系统互连参考模型(open systeminterconnection reference model) OSI参考模型具有以下优点: 简化了相关的网络操作: 提供设 ...

  4. linux下TCP&sol;IP及内核参数优化调优&lpar;转)

    Linux下TCP/IP及内核参数优化有多种方式,参数配置得当可以大大提高系统的性能,也可以根据特定场景进行专门的优化,如TIME_WAIT过高,DDOS攻击等等. 如下配置是写在sysctl.con ...

  5. 渣渣小本求职复习之路每天一博客系列——TCP&sol;IP协议栈(5)

    前情回顾:一篇短短的博客明显不能满足TCP和UDP这两个饥渴的汉子,而且还被应用协议占了一小半的篇幅.在昨天结束之后,相信大家都基本对TCP/IP协议栈的轮廓有一个大概的印象了,能够对整体有所把握. ...

  6. 云计算之路-阿里云上:消灭&OpenCurlyDoubleQuote;黑色n秒”第三招——禁用网卡的TCP&sol;IP Offload

    程咬金有三板斧,我们有三招.在这篇博文中我们要出第三招,同时也意味着昨天在“希望的田野”上的第二招失败了. 前两招打头(CPU)不凑效,这一招要换一个部位,但依然要坚持攻击敌人最弱(最忙最累)部位的原 ...

  7. TCP&sol;IP详解

    第一篇 TCPIP协议详解 第1章 TCPIP协议族 第2章 IP协议详解 第3章 TCP协议详解 第4章 TCP/IP通信案例:访问Internet上的Web服务器 一.TCP/IP协议族 TCP/ ...

  8. TCP&sol;IP Four Layer Protocol Format Learning

    相关学习资料 tcp-ip详解卷1:协议.pdf 目录 . 引言 . 应用层 . 传输层 . 网络层 0. 引言 协议中的网络字节序问题 在学习协议格式之前,有一点必须明白,否则我们在观察抓包数据的时 ...

  9. TCP&sol;IP之TCP的建立与终止

    TCP协议简介 tcp/ip协议族中传输层最重要的两种协议是UDP和TCP协议,上一篇文章用很短的篇幅介绍完了UDP协议相关的内容,但相对于UDP而言的TCP协议,是种更复杂,应用更广的协议.在接下来 ...

随机推荐

  1. 关于printf错用格式化字符串导致double和long double输出错误的小随笔

    [题外话] 以前用HUSTOJ给学校搭建Online Judge,所有的评测都是在Linux下进行的.后来为了好往学校服务器上部署,所以大家重新做了一套Online Judge,Web和Judge都是 ...

  2. java代写

    Computer Science, Claremont McKenna CollegeCS51.2 - Introduction to Computer Science, Fall 2014Probl ...

  3. spring mvc如何获取问号后的url参数

    @RequestMapping(method=RequestMethod.GET) public ModelAndView allUsers(@RequestParam int page){ Mode ...

  4. 重写DataGridViewColumn

    做个项目需要用到DataGridView,这个控件还是挺好用的,但是今天却发现无法实现自己想要的功能.主要是DataGridViewCheckBoxColumn这个列虽然是提供了复选框,但是却未能在复 ...

  5. mysql sqlmap 注入尝试

    假设注入点为 http://www.abc.com/news.php?id=12 //探测数据库信息 sqlmap -u http://www.abc.com/news.php?id=12 –dbs ...

  6. hive 三种启动方式及用途,关注通过jdbc连接的启动

    http://blog.****.net/a221133/article/details/6734746

  7. IDEA 中tomcat日志位置

    参考 https://blog.****.net/dela_/article/details/78555977 /home/dela/.IntelliJIdea2017.1/system/tomcat ...

  8. 性能测试工具jmeter的安装

    1.mac安装jmeter 参考博客:https://blog.****.net/shendezhuti/article/details/77972297

  9. 查漏补缺之开g的正则

    当正则表达式开了挂,就会多一个g的修饰符,用于表示全局匹配.然而这个表达式却不仅仅是多了个g这么简单,它的方法也会发生改变.由于之前不是太了解,今天好好捋一下,且听我细细道来. 正则表达式的方法和属性 ...

  10. 【转】细说UI线程和Windows消息队列

    在Windows应用程序中,窗体是由一种称为“UI线程(User Interface Thread)”的特殊类型的线程创建的. 首先,UI线程是一种“线程”,所以它具有一个线程应该具有的所有特征,比如 ...