glusterFS的缓存测试

时间:2021-08-30 05:21:06

众所周知,glusterFS在客户端有缓存,缓存目的在于提高读性能。那么多个客户端同时对文件进行读写,会不会存在client缓存与server文件不一致的情况?比如client A和client B读写同一文件, client
A修改了server文件,在client B会不会读到旧数据?

第一种说法:读操作时,如果client缓存的timeout未到期,则会读到旧数据。

    第二种说法:读操作时,如果发现client缓存与server文件不一致,就会自动同步client缓存。

哪种说法是正确的,本文通过测试给出结论。

实验环境:gluster 3.4 3.5,主机192.168.49.130, 192.168.49.131

创建卷:

gluster volume create vol_512 192.168.49.130:/data/dht 192.168.49.131:/data/dht force #创建一个分布式卷,
卷名为vol_512

设置卷:

gluster volume set vol_512 performance.strict-o-direct on  #通过设置允许direct-io来避免内核缓存

gluster volume set vol_512 performance.io-cache on

        gluster volume set vol_512performance.cache-refresh-timeout 60

        gluster volume set vol_512performance.cache-max-file-size 1MB

启动卷:

gluster volume start vol_512

在192.168.49.130挂载卷mount
-t glusterfs 192.168.49.130:/vol_512 /home/zjj/vol_512

在192.168.49.131挂载卷mount
-t glusterfs 192.168.49.131:/vol_512 /home/zjj/vol_512

192.168.49.130和192.168.49.131同时对文件/home/zjj/vol_512/test进行读写,文件实际存储位置192.168.49.131:/data/dht/test。

我们先在192.168.49.130上不断读文件/home/zjj/vol_512/test,读文件的程序代码:

#include<stdio.h>
#include<stdlib.h>
#include<fcntl.h>
#include<sys/types.h>
#include<unistd.h> int main(void)
{
int fd, len;
char * buf;
fd = open("/home/zjj/vol_512/test", O_RDONLY | O_DIRECT);
while(1){
sleep(1);
len = lseek(fd, 0, SEEK_END);
lseek(fd, 0, SEEK_SET);
buf = (char*)malloc(len);
read(fd, buf, len);
}
close(fd); return 0;
}

我们用nethops工具来监测192.168.49.130 gluster的流量:

glusterFS的缓存测试

glusterFS的缓存测试

如果关闭client cache是什么情况呢?我们来试一下,输入下面命令:

gluster volume set vol_512 performance.io-cache
off

gluster
volume stop vol_512 #重启卷,使配置生效

gluster volume start vol_512#重启卷,使配置生效

关闭client cache后,读文件时流量状况:

glusterFS的缓存测试glusterFS的缓存测试

通过对比两张流量图,说明192.168.49.130 client cache确实起了作用。

下面,我们重新打开cache,测试192.168.49.131不断写文件的同时(不断产生不一致),192.168.49.130不断读文件的流量是如何变化的。

192.168.49.131 写文件的代码:

#!/bin/bash
while ((1))
do
echo "ads" >> /home/zjj/vol_512/test
done

最开始时,流量情况:

glusterFS的缓存测试glusterFS的缓存测试

一段时间后,流量状况:

glusterFS的缓存测试glusterFS的缓存测试

并且流量为直线递增状态,并没有一个timeout周期做一次更新。

所以通过实验证明,每次读不一致文件都会进行client缓存和server文件的同步。