今天突然想起了nginx解决惊群的方法,就是在多个进程间利用锁来保证同一时刻只能有一个worker进程在自己的epoll中加入监听的句柄,那么进程间是怎么共享变量的呢,下面就介绍一下共享内存
共享内存是 Linux 下提供的最基本的进程间通信方法,它通过 mmap 或者 shmgat 系统调用在内存中创建了一块连续的线性地址空间,而通过 munmap 或者 shmdt 系统调用可以释放这块内存。使用共享内存的好处是当多个进程使用同一块共享内存时,在任何一个进程修改了共享内存中的内容后,其他进程通过访问这段共享内存都能够得到修改后的内容。
虽然 mmap 可以以磁盘文件的方式映射共享内存,但在 Nginx 封装的共享内存操作方法中是没有使用到映射文件功能的。
Nginx 定义了 ngx_shm_t 结构体,用于描述一块共享内存:
typedef struct { /* 执行共享内存的起始地址 */ u_char *addr; /* 共享内存的长度 */ size_t size; /* 这块共享内存的名称 */ ngx_str_t name; /* 记录日志的 ngx_log_t 对象 */ ngx_log_t *log; /* 表示共享内存是否已经分配过的标志位,为 1 时表示已经存在 */ ngx_uint_t exists; /* unsigned exists:1 */ }ngx_shm_t;
操作 ngx_shm_t 结构体的方法有以下两个:
- ngx_shm_alloc:用于分配新的共享内存;
- ngx_shm_free:用于释放已经存在的共享内存。
mmap 系统调用简述
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
mmap 可以将磁盘文件映射到内存中,直接操作内存时 Linux 内核将负责同步内存和磁盘文件中的数据:
- fd 参数就指向需要同步的磁盘文件
- offset 则代表从文件的这个偏移量开始共享。
- 当 flags 参数中加入 MAP_ANON 或者 MAP_ANONYMOUS 参数时表示不使用文件映射方式,这时 fd 和 offset 参数就没有意义了,也不需要传递,此时的 mmap 方法和 ngx_shm_alloc 的功能几乎完全相同。
- length 参数就是将要在内存中开辟的线性地址空间大小。
- prot 参数则是操作这段共享内存的方式(如只读或可读可写)。
- start 参数说明希望的共享内存起始映射地址,通常设为 NULL,即由内存选择映射的起始地址。
MAP_ANON 是 MAP_ANONYMOUS 的同义词,已过时。表示不使用文件映射方式,并且共享内存被初始化为0,因此忽略 mmap 中的 fd 和 offset 参数,但是为了可移植性,当 MAP_ANONYMOUS(或 MAP_ANON)被指定时,fd 应该设置为 -1。
如下为使用 mmap 实现的 ngx_shm_alloc 方法:
ngx_int_t
ngx_shm_alloc(ngx_shm_t *shm)
{
/* 开辟一块 shm->size 大小且可读/写的共享内存,内存首地址存放在 shm->addr 中 */ shm->addr = (u_char *)mmap(NULL, shm->size, PROT_READ|PROT_WRITE, MAP_ANON|MAP_SHARED, -1, 0); if (shm->addr == MAP_FAILED) { ngx_log_error(NGX_LOG_ALERT, shm->log, ngx_errno, "mmap(MAP_ANON|MAP_SHARED, %uz) failed", shm->size); return NGX_ERROR; } return NGX_OK; }
当不在使用共享内存时,需要调用 munmap 或者 shmdt 来释放共享内存:
int munmap(void *start, size_t length);
- start:指向共享内存的首地址
- length:表示这段共享内存的长度
Nginx 的 ngx_shm_free 方法封装了该 munmap 方法:
void ngx_shm_free(ngx_shm_t *shm) { if (munmap((void*) shm->addr, shm->size) == -1) { ngx_log_error(NGX_LOG_ALERT, shm->log, ngx_errno, "munmap(%p, %uz) failed", shm->addr, shm->size); } }
Nginx 各进程间共享数据的主要方式就是使用共享内存(在使用共享内存时,Nginx 一般是由 master 进程创建,在 master 进程 fork 出 worker 子进程后,所有的进程开始使用这块内存中的数据)。
Nginx 的共享内存有三种实现:
- 不映射文件使用 mmap 分配共享内存(即上面的代码)
- 以 /dev/zero 文件使用 mmap 映射共享内存
- 用 shmget 调用来分配共享内存