TCP/IP和HTTP协议代理

时间:2023-12-27 18:41:49

TCP/IP协议族

TCP/IP(传输控制协议/网际协议)是用于计算机通信的一个协议族。

TCP/IP协议族包括诸如Internet协议(IP)、地址解析协议(ARP)、互联网控制信息协议(ICMP)、用户数据报协议(UDP)、传输控制协议(TCP)、路由信息协议(RIP)、Telnet、简单邮件传输协议(SMTP)、域名系统(DNS)等协议。

1. 应用层 应用层包含一切与应用相关的功能,我们经常使用的HTTP、FTP,Telnet、SMTP等协议都在这一层实现。

2. 传输层 传输层负责提供可靠的传输服务。在该层中,典型的协议是TCP(Transmission Control Protocol)和UDP(User Datagram Protocol)。其中,TCP提供可靠、有序的,面向连接的通信服务;而UDP则提供无连接的、不可靠用户数据报服务。

3. 网际层 网际层负责网络间的寻址和数据传输,在该层中,典型的协议是IP(Internet Protocol)。

4. 网络接口层 最下面一层是网络接口层,负责数据的实际传输.网络接口层在发送端将上层的IP数据报封装成帧后发送到网络上;数据帧通过网络到达接收端时,该结点的网络接口层对数据帧拆封,并检查帧中包含的MAC地址。如果该地址就是本机的MAC地址或者是广播地址,则上传到网络层,否则丢弃该帧。

TCP/IP和HTTP协议代理

图1 TCP/IP协议栈

HTTP是一个客户端终端(用户)和服务器端(网站)请求和应答的标准(TCP)。通过使用Web浏览器、网络爬虫或者其它的工具,客户端发起一个HTTP请求到服务器上指定端口(默认端口为80)。我们称这个客户端为用户代理程序(user agent)。应答的服务器上存储着一些资源,比如HTML文件和图像。我们称这个应答服务器为源服务器(origin server)。在用户代理和源服务器中间可能存在多个中间层,比如代理,网关,或者隧道(tunnel)。

尽管TCP/IP协议是互联网上最流行的应用,HTTP协议中,并没有规定必须使用它或它支持的层。事实上,HTTP可以在任何互联网协议上,或其他网络上实现。HTTP假定其下层协议提供可靠的传输。因此,任何能够提供这种保证的协议都可以被其使用。因此也就是其在TCP/IP协议族使用TCP作为其传输层。

通常,由HTTP客户端发起一个请求,创建一个到服务器指定端口(默认是80端口)的TCP连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求,服务器会向客户端返回一个状态,比如"HTTP/1.1 200 OK",以及返回的内容,如请求的文件、错误消息、或者其它信息。

TCP/IP和HTTP协议代理

图2 组成元素

如图,web服务器接入于公网,ip地址为61.155.154.42, url为www.demo.com。 资源文件包括index.html,index.js,index.css,others位于服务器的虚拟根目录下,index.html索引文件index.js,index.csTCP/IP和HTTP协议代理

若用户在浏览器的地址栏中输入www.demo.com并回车键确认,则将触发以下流程:

· 浏览器所在客户端主机通过DNS查询,获取www.demo.com所对应的ip地址,并作为客户端与该ip地址对应的服务端建立http连接

· 浏览器向服务器发起http根请求,浏览器从本机取出根文件index.html并回应浏览器

· 浏览器从根请求回应中解析index.html文件中所引入的资源文件列表index.js,index.css等文件

· 浏览器再次分别向服务器发起index.js,index.css等文件请求

· 浏览器获取所有文件之后,解析渲染出所有资源文件,提供ui接口给用户

TCP/IP和HTTP协议代理

图4 资源获取流程

http代理服务器即是一个http协议的中继。其所完成的任务是插入浏览器与服务器之间的通信,截获浏览器的http请求,并模拟浏览器向服务器发起http请求,并把服务器的http回应,转回应于浏览器。这个动作对应浏览器来说,是透明的,

但是对于开发者来说,可以在代理服务器上做手脚,修改双向的报文。可以通过两种方式来实现http代理,其一为应用程序代理,其二tcp代理,其特征分别为:

应用层代理,浏览器与代理服务器,代理服务器与服务器两个通信组队之间,分别建立tcp连接,并进行tcp数据传输。代理服务器与浏览器握手之后,截获浏览器发出的GET报文,获取HOST字段与服务器握手,并把GET报文进行处理之后,转发给服务器,等待服务器的回包,并转发给浏览器。整个流程可以在应用层完成。

可以看出代理服务器对客户端上来的GET报文有修改

1、HTTP/1.1修改为HTTP/1.0, 这样修改有两个作用,服务器对HTTP/1.0请求的回应报文没有Content-Length, 或CHUNCK的标示,而这两个标示与应用程序数据的长度相关,如果采用HTTP/1.1的请求,则在修改服务器的回包之后(回包长度发生变化),需要重新修改Content-Length或CHUNCK两个属性的值,而这两个值的修改增加了开发的难度;

2、服务器对HTTP/1.0回应不会保持长连接,即图中服务器响应index.html之后,tcp连接关闭,这样对于代理软件来说,软件容易稳定,降低了开发难度。

TCP层代理

Ø TCP报文插入

在TCP层做报文注入,涉及到了修改报文双向sequence, ack-sequence值的问题。原因在于seq值与ack值与实际报文长度相关,如果修改了报文长度,显然需要修改seq, ack值:

TCP/IP和HTTP协议代理

图6 TCP之SEQ与ACK

Ø TCP层代理报文插入

如图7所示,代理需要维护两个状态机,收到服务端带fin报文的数据包之后,和服务端完成结束握手;同时去除fin报文的fin标志,把改报文发给浏览器,同时完成和浏览器的报文插入以及结束握手:

TCP/IP和HTTP协议代理

图7 TCP之SEQ与ACK

Ø TCP层代理状态机

1. Eth0收到http报文的结束帧(带fin)

TCP/IP和HTTP协议代理

2. 代理去掉fin标志

TCP/IP和HTTP协议代理

3. 代理插入一段报文,并加上fin标志

TCP/IP和HTTP协议代理

TCP/IP和HTTP协议代理

4.浏览器对原始的http结束报文回应fin:

TCP/IP和HTTP协议代理

问题:看起来服务器到浏览器的fin报文,并没有被代理扔掉,故而浏览器收到了两帧fin报文。