python中黏包现象

时间:2022-09-29 22:10:29
#黏包:发送端发送数据,接收端不知道应如何去接收造成的一种数据混乱现象.

#关于分包和黏包:
#黏包:发送端发送两个字符串"hello"和"word",接收方却一次性接收到"helloword"
#分包:发送端发送字符串"helloword",接收方却受到了两个字符串"hello"和"word"
#虽然socket环境有这些问题,但是TCP传输数据能保证几点:
#顺序不变,发送端发送hello,接收方一点顺序接收hello,这个TCP协议的特点,成为了
#解决分包,黏包问题的关键.
#分割的包中间不会插入其它数据
#注意:
#如果用socket通讯,就一定要自己定义一份协议,目前的标准协议是:消息头部(包头)+消息长度+消息正文
#TCP协议的拆包机制:
#当发送缓冲区的长度大于网卡的MTU时,tcp会将这次发送的数据拆分成几个数据包发出去
#MTU是Maximum Transmission Unit的缩写.意思是网络上传送的最大数据包.MTU的单位是字节
#大部分网络设备的MTU都是1500.如果本机的MTU比网关的MTU大,大的数据包就会被拆分传送
#这样会产生很多数据包碎片,增加丢包率,降低网络数据. #面向字节流的通信特点和Nagle算法
#TCP是面向连接的,面向流的,提供高可靠性服务
#收发两端(客户端和服务端)都要有成对的socket,因此,发送端为了将多个发往接收端的包,更有效的
#发到对方,使用了优化方法(Nagle算法),将多次间隔较小的数据量小的数据合并成一个大的数据块,然后打包发送
#这样,接收端,接收端就很难分辨出来,必须提供科学的拆包机制.即面向流的通信是无边界保护的
#注意:
#对于空消息:tcp是基于数据流,于是收发的消息不能为空,需要在程序服务端和客户端添加空消息处理机制,防止程序
#卡住,而udp是基于数据报的,即使你输入的是空内容,也可以被发送,udp协议会帮助你封装上消息的头
#发送过去
#可靠黏包的tcp协议:tcp的协议数据不会丢失,没有收完包,下次接收,会继续上次继续接收,接收端
#总是在收到ack时才会清除缓冲区内容.数据是可靠的,但是黏包.
# tcp黏包的成因:
#socket客户端 <<<<<<<<用户态>>>>>>socket服务端
# ^| ^|
# ^| ^|
# ^| ^|
# 缓存<<<<<<<<<< 内核态 >>>>>>>>>>>缓存 #socket数据传输过程中的用户态与内核态说明:
#发送端可以是一K一K地发送数据,而接收端的应用程序可以两K两K地提走数据
# 当然也有可能一次提走3K或6K数据,或者一次只提走几个字节的数据。
# 也就是说,应用程序所看到的数据是一个整体,或说是一个流(stream),
# 一条消息有多少字节对应用程序是不可见的,因此TCP协议是面向流的协议,
# 这也是容易出现粘包问题的原因。 而UDP是面向消息的协议,每个UDP段都是一条消息,
# 应用程序必须以消息为单位提取数据,不能一次提取任意字节的数据, 这一点和TCP是很不同的。
# 怎样定义消息呢?可以认为对方一次性write/send的数据为一个消息,
# 需要明白的是当对方send一条信息的时候,无论底层怎样分段分片
# TCP协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区。 #例如基于tcp的套接字客户端往服务端上传文件,发送时文件内容是按照一段一段的字节流发送的,
# 在接收方看了,根本不知道该文件的字节流从何处开始,在何处结束
# 此外,发送方引起的粘包是由TCP协议本身造成的,TCP为提高传输效率,
# 发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少,
# 通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去,这样接收方就收到了粘包数据。 #UDP不会发生黏包现象:
#UDP是无连接的,面向数据报,提供高效率服务
#不会使用块的合并优化算法,, 由于UDP支持的是一对多的模式,所以接收端的skbuff(套接字缓冲区)
# 采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(消息来源地址,端口等信息),
# 这样,对于接收端来说,就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
# 对于空消息:tcp是基于数据流的,于是收发的消息不能为空,这就需要在客户端和服务端都添加空消息的处理机制
# ,防止程序卡住,而udp是基于数据报的,即便是你输入的是空内容(直接回车),也可以被发送,
# udp协议会帮你封装上消息头发送过去。 不可靠不黏包的udp协议:udp的recvfrom是阻塞的,
# 一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y;x数据就丢失,
# 这意味着udp根本不会粘包,但是会丢数据,不可靠。 #注意:
#udp和tcp一次发送数据长度的限制
#用UDP协议发送时,用sendto函数最大能发送数据的长度为:65535- IP头(20) – UDP头(8)=65507字节。
# 用sendto函数发送数据时,如果发送数据长度大于该值,则函数会返回错误。(丢弃这个包,不进行发送)
# 用TCP协议发送时,由于TCP是数据流协议,因此不存在包大小的限制(暂不考虑缓冲区的大小),
# 这是指在用send函数时,数据长度参数不受限制。而实际上,所指定的这段数据并不一定会一次性发送出去,
# 如果这段数据比较长,会被分段发送,如果比较短,可能会等待和下一次数据一起发送。
#
#数据链路层:
#因为网卡的MTU一般被限制在1500
#数据链路层大小限制 1500-ip包头(20)-udp包头(8) = 1472
# if sendto(num)
# num > 65507 报错
# 1472< num < 65507 会在数据链路层拆分
#udp本身是不可靠协议,一旦解包,会造成数据丢失
# num < 1472 是比较理想的状态