[ 网络 ] 应用层协议 —— HTTP协议

1.HTTP协议

应用层协议已经有大佬定义了一些线程的，有非常好用的应用层协议，我们可以直接参考使用。例如本篇所提到的HTTP（超文本传输协议）就是其中之一。

1.1URL

URL（统一资源定位符）就是我们俗称的"网址"

​编辑

我们所常见到的网址：例如 ​​https://www.baidu.com/​​

协议方案名和服务器端口号是强绑定的：

比如httpserver --- 80 ； httpsServer  --- 443 ； sshd --- 22

HTTP协议的本质是要获得某种"资源"，比如我们请求百度的官网时，我们所获取的资源是百度首页的网页信息。我们可以理解为HTTP是 获取网页资源的(视频，音乐等)。HTTP是向特定的服务器向特定端口申请特定的"资源"的，获取到本地进行展示或者某种展示的。而对应服务器上，你所要的资源所在的位置就是URL中带层次的文件路径。

实际上，上网的大部分行为，都在进行这进程间通信。既然是通信，就是获取信息和发送信息。所以我们对应到生活中，大部分的上网行为，无非两种：

1. 把服务器上面的资源数据拿到本地（短视频，小说等等）
2. 把本都的数据推送到服务器（搜索，注册，登录，下单等）

urlencode和urldecode

在URL中，像 / ? 等这样的字符已经被URL当做特殊意义理解了。因此这些字符不能随意出现。

​编辑

 比如：某个参数中需要带有这些特殊字符，就必须先对特殊字符进行转义。

转义规则：将需要转码的字符转为16进制，然后从右到做，取4位（不足4位直接处理），每2位做一位，前面加上%，编码成%XY格式。

​编辑

我们可以看到 "C++" 中 "+"被转义成了 "%2B" 我们可以使用urlencode工具验证上述过程

​​UrlEncode编码/UrlDecode解码​​

​编辑

2. HTTP协议格式

HTTP请求

​编辑

​编辑

•  首行：【方法】+【URL】+【版本】
• Header：请求的属性，冒号分割的键值对；每组属性之间使用\n分割；遇到空行表示Header部分结束
• Body：空行后面的内容都是Body.Body允许为空字符串.如果Body存在，则在Header中会有一个Content-Length字段用来表示Body的长度

常规情况下，HTTP(HTTPS)底层使用的传输层协议是TCP.

我们通过一段tcp套接字编程来查看HTTP请求格式

#include <iostream>
#include <cstring>
#include <cstdlib>
#include <unistd.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/wait.h>

using namespace std;
int main()
{
    int listen_sock = socket(AF_INET,SOCK_STREAM,0);
    if(listen_sock < 0){
        std::cout<<"socket error" <<std::endl;
        return 1;
    }

    struct sockaddr_in local;
    memset(&local,0,sizeof(local));

    local.sin_family = AF_INET;
    local.sin_port = htons(8082);
    local.sin_addr.s_addr = INADDR_ANY;

    if(bind(listen_sock,(struct sockaddr*)&local, sizeof(local))<0){
        std::cout<<"bind error" << std::endl;
        return 2;
    }
    if(listen(listen_sock,5) < 0){
        std::cout<<"listen error" << std::endl;
        return 3;
    }

    struct sockaddr_in peer;
    for(;;){
        socklen_t len = sizeof(peer);
        int sock = accept(listen_sock,(struct sockaddr*)&peer,&len);
        if(sock < 0){
            std::cout<<"accept error "<<std::endl;
            continue;
        }


        if(fork() == 0){
            if(fork() > 0) exit(0);
            close(listen_sock);

            char buffer[1024];
            recv(sock,buffer,sizeof(buffer),0);
            std::cout<<"###################HTTP request begin####################"<<std::endl;
            std::cout<< buffer << std::endl;
            std::cout<<"###################HTTP request end####################"<<std::endl;
            exit(0);
        }

        close(sock);
        waitpid(-1,nullptr,0);
    }
}

​编辑我们在直接打印出请求的格式

​编辑

第一部分 首行：请求方法 请求url HTTP协议的版本

常用的请求方法：GET和POST （后面详解）

刚刚我们请求的是 /  . " / " 是Web根目录不是系统根目录。那我们也可以请求 /a/b/c/d.html 我们再次看看请求报文：

​编辑

​编辑

​编辑

第二部分是一组Key：value的请求报头

请求报头是一堆Key: Value 请求属性，包括是否需要长链接，浏览器的编码类型，数据类型，我们想发送给服务器的相关信息等等.....通常存在多行，是一堆的Key: Value值

​编辑

服务器端可以按行循环读取，一直读到\n (空行)就证明已经把报头读完了

第三部分：空行 

是报头和有效载荷的分离符，为了就是将报头和有效载荷进行分离

​编辑

 前三部分都必须是按行方式陈列的

​编辑

 

第四部分：请求正文（有效载荷）  ——非必须 | 可以没有

根据我们的需求，有时候我们需要登录账号和密码，个人信息，音乐，视频等等一般都是用户的相关信息或者数据。

以上就是HTTP协议的请求(HTTP request)。

HTTP响应

​编辑

• 首行: 【版本号】 + 【状态码】 + 【状态码解释】
• Header: 请求的属性, 冒号分割的键值对;每组属性之间使用\n分隔;遇到空行表示Header部分结束
• Body: 空行后面的内容都是Body. Body允许为空字符串. 如果Body存在, 则在Header中会有一个Content-Length属性来标识Body的长度; 如果服务器返回了一个html页面, 那么html页面内容就是在body中.

HTTP响应也是由4部分组成，其中响应正文也是可以被省略的。客户端如何判断已经将response报头读取完毕呢，仍然是客户端可以循环按行读取，知道读取到空行。

#include <iostream>
#include <string>
#include <cstring>
#include <cstdlib>
#include <unistd.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/wait.h>
#include <fstream>

using namespace std;
int main()
{
    int listen_sock = socket(AF_INET,SOCK_STREAM,0);
    if(listen_sock < 0){
        std::cout<<"socket error" <<std::endl;
        return 1;
    }

    struct sockaddr_in local;
    memset(&local,0,sizeof(local));

    local.sin_family = AF_INET;
    local.sin_port = htons(8083);
    local.sin_addr.s_addr = INADDR_ANY;

    if(bind(listen_sock,(struct sockaddr*)&local, sizeof(local))<0){
        std::cout<<"bind error" << std::endl;
        return 2;
    }
    if(listen(listen_sock,5) < 0){
        std::cout<<"listen error" << std::endl;
        return 3;
    }

    struct sockaddr_in peer;
    for(;;){
        socklen_t len = sizeof(peer);
        int sock = accept(listen_sock,(struct sockaddr*)&peer,&len);
        if(sock < 0){
            std::cout<<"accept error "<<std::endl;
            continue;
        }


        if(fork() == 0){
            if(fork() > 0) exit(0);
            close(listen_sock);

            char buffer[1024];
            recv(sock,buffer,sizeof(buffer),0);
            // std::cout<<"###################HTTP request begin####################"<<std::endl;
            // std::cout<< buffer << std::endl;
            // std::cout<<"###################HTTP request end####################"<<std::endl;

#define PAGE "./wwwroot/index.html"

            std::ifstream in(PAGE);
            if(in.is_open()){
                in.seekg(0,std::ios::end);
                size_t len = in.tellg();
                in.seekg(0,std::ios::beg);

                char *file = new char[len];
                in.read(file,len);
                in.close();

                std::string status_line = "http/1.0 200 OK\n";
                std::string response_header = "Content-Length: "+std::to_string(len);
                response_header+="\n";
                std::string blank = "\n";

                send(sock,status_line.c_str(),status_line.size(),0);
                send(sock,response_header.c_str(),response_header.size(),0);
                send(sock,blank.c_str(),blank.size(),0);

                send(sock,file,len,0);
                delete[] file;
            }
            close(sock);
            exit(0);
        }

        close(sock);
        waitpid(-1,nullptr,0);
    }
}

​编辑

​编辑

3.告知服务器意图的HTTP方法

在众多的HTTP方法中最常用的是GET和POST方法，因此在此我们对GET和POST进行详细了解

​编辑

GET：获取资源

GET方法是用来请求访问已被URL识别的资源。指定的资源经服务器端解析后返回响应内容。

​编辑

我们也可以使用Postman工具抓取HTTP请求

​编辑

POST：传输实体主体

POST方法是用来传输实体的主体

虽然用GET方法也可以传输实体的主体，但是一般不用GET方法进行传输，而是用POST方法。虽然POST的功能和GET很相似，但是POST的主要目的并不是获取响应的主体内容。

​编辑

GET和POST的区别

• GET方法可以带参，参数在URL " ？"的后面
• POST方法通过正文传参
• GET方法传参不私密
• POST方法因为通过正文传参，所以相对私密一些

GET通过url传参，POST通过正文传参，所以一般一些大的内容都是通过POST传参。

使用Cookie的状态管理

HTTP是无状态协议，它不对之前发生过的请求和响应的状态进行管理。也就是说，无法根据之前的状态进行本次的请求管理。那么我们在日常上网的过程中，假设要求登录认证的Web页面本身无法进行状态的管理（不记录已登录的状态），那么每次跳转新页面的时候都要再次登录，或者每次请求报文中附加参数来管理登录状态。那么这对我们用户是非常不友好的，就相当于我们每次登录C站我们都要进行登录认证。因此Cookie技术就是通过在请求和响应报文中写入Cookie信息来控制客户端的状态。

Cookie会根据从服务器端发送的响应报文内的一个叫Set-Cookie的首部字段信息，通知客户端保存Cookie。当下次客户端再往服务器发送请求时，客户端会自动在请求报文中加入Cookie值后发送出去。服务器端发现过来的Cookie后，会检查究竟是从哪一个客户端的连接请求，然后对比服务器上的记录，最后得到之前的状态信息。

举例：我们用B站来进行举例。

我只要登录过B站之后，再之后再次登录B站时会自动登录我的账号， 点击网址左边的锁，就会看到Cookie，点进去就会看到当前页面下的Cookie信息，我们全部进行删除后点击完成，再次刷新该页面，就发现无法找到之前的登录信息了。登录后再次查询发现Cookie信息被重新填写上了。

​编辑

​编辑

​编辑

​编辑

​编辑

​编辑

4.返回结果的HTTP状态码

HTTP状态码负责表示客户端HTTP请求的返回结果，标记服务器端的处理是否正常，通知出现的错误等工作。

状态码告知从服务器端返回的请求结果

状态码的职责是当客户端向服务器端发送请求时，描述返回的请求结果。借助状态码，用户可以知道服务器端是正常处理了请求还是出现了错误。

状态码的类别

​编辑

2XX成功

2XX的响应结果表明请求被正常处理了。

例如:

1. 200 OK表示从客户端发来的请求在服务器端被正常处理了。
2. 204 No Content 表示服务器接受的请求已成功处理，但在返回的响应报文中不含有实体的主体部分，也就是说请求处理成功但是没有资源可以返回。因此返回204响应后浏览器的显示页面不会发生更新。

3XX重定向

1. 301 Moved Permanently 永久重定向。该状态码表示请求的资源已被分配了新的URL，以后应使用现在所指的URL。
2. 302 Found 临时重定向。该状态码表示请求的资源已被分配了新的URL，希望用户本次能使用新的URL访问。

1. 302和301状态码相似，但是302状态码代表的资源不是永久移动，只是临时性质的。换句话说，302的资源对应的URL将来还有可能发生变。

if(fork() == 0){
            if(fork() > 0) exit(0);
            close(listen_sock);

            char buffer[1024];
            recv(sock,buffer,sizeof(buffer),0);
            //重定向到腾讯网
            std::string response = "HTTP/1.1 301 Permanently Moved\r\n";
            response += "Location: https://www.qq.com/\r\n"; 
            response += "\r\n";
            send(sock, response.c_str(), response.size(), 0);
            close(sock);
            exit(0);
        }

当服务器启动之后在浏览器输入ip:port后按下回车发现URL自动跳转到了腾讯网

​编辑

​编辑

4XX客户端错误

1. 403 Forbidden 表示请求资源的访问被服务器拒绝了。服务器端没有必要给出拒绝的详细理由。

1. 发生403的原因：未获得文件系统的访问授权，访问权限出现某些问题（从未授权的发送源IP地址试图访问）

2. 404 Not Found 表示服务器上无法找到请求的资源。除此之外，也可能在服务器端拒绝请求且不想说明理由时使用。

5XX服务器错误

5XX的响应结果表名服务器本身发生错误

1. 500 Internal Server Error 表示服务器端在执行请求时发生了错误。也可能是Web应用存在的Bug或某些临时的故障。

 5.HTTP的缺点

HTTP主要有如下不足之处：

1. 通信使用明文（不加密），内容可能会被窃听
2. 不验证通信方的身份，因此有可能遭遇伪装
3. 无法证明报文的完整性，所以有可能已经遭到篡改

因此解决如上三个不足之处正式HTTPS的主要功能，因此HTTPS = HTTP+加密+认证+完整性保护。具体3个功能的实现细节，将单独整理成一篇博客HTTPS