MooseFS源代码分析(二)——mfsmount模块

时间:2024-02-21 15:43:47

1.fuse介绍

客户端上需要安装有fuse。mfsmount使用了fuse模块,以拥有一个和文件操作一样的操作入口。

fuse的功能简单概括一下,fuse提供一个文件操作的接口,然后fuse在这个接口上监听文件操作,并把这些对文件的操作传给我们自己的相关代码进行处理。 也就是说,fuse提供一个挂载点,然后他会在这个挂在点上进行监听,一旦有操作(新建、读取、修改)发生,他会把控制权交给我们的代码,这些操作的具体代码都在mfsmount模块中实现。

fuse中的fuse_lowlevel_ops结构用来指定自定义的文件操作,mfsmount中定义的结构如下:

1. mfsmount模块main.c代码片段
  1. static struct fuse_lowlevel_ops mfs_oper = {
  2.     .statfs        = mfs_statfs,
  3.     .lookup        = mfs_lookup,
  4.     .getattr    = mfs_getattr,
  5.     .setattr    = mfs_setattr,
  6.     .mknod        = mfs_mknod,
  7.     .unlink        = mfs_unlink,
  8.     .mkdir        = mfs_mkdir,
  9.     .rmdir        = mfs_rmdir,
  10.     .symlink    = mfs_symlink,
  11.     .readlink    = mfs_readlink,
  12.     .rename        = mfs_rename,
  13.     .link        = mfs_link,
  14.     .opendir    = mfs_opendir,
  15.     .readdir    = mfs_readdir,
  16.     .releasedir    = mfs_releasedir,
  17.     .create        = mfs_create,
  18.     .open        = mfs_open,
  19.     .release    = mfs_release,
  20.     .flush        = mfs_flush,
  21.     .fsync        = mfs_fsync,
  22.     .read        = mfs_read,
  23.     .write        = mfs_write,
  24.     .access        = mfs_access,
  25. };

这里面的mfs_statfs、mfs_lookup…mfs_write、mfs_access是由mfsmount去实现的函数,一共23种文件操作,mfsmount全部要自己去实现一遍。当在fuse注册的挂载点上(默认对应/mnt/mfs)进行文件操作时,fuse就会使用mfsmount的实现去实现这些操作。 例如,我们在/mnt/mfs创建一个text.txt文件,fuse就会调用mfs_create去进行操作(当然需要传递文件名等必要的参数),至于我们的代码在什么地方去创建具体的文件,fuse不管。

看一下mfsmount中这些文件操作函数在头文件中的定义:

mfs_fuse.h 代码片段
  1. void mfs_access(fuse_req_t req, fuse_ino_t ino, int mask);
  2. void mfs_lookup(fuse_req_t req, fuse_ino_t parent, const char *name);
  3. void mfs_getattr(fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi);
  4. void mfs_setattr(fuse_req_t req, fuse_ino_t ino, struct stat *stbuf, int to_set, struct fuse_file_info *fi);
  5. void mfs_mknod(fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode, dev_t rdev);
  6. void mfs_unlink(fuse_req_t req, fuse_ino_t parent, const char *name);
  7. void mfs_mkdir(fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode);
  8. void mfs_rmdir(fuse_req_t req, fuse_ino_t parent, const char *name);
  9. void mfs_symlink(fuse_req_t req, const char *path, fuse_ino_t parent, const char *name);
  10. void mfs_readlink(fuse_req_t req, fuse_ino_t ino);
  11. void mfs_rename(fuse_req_t req, fuse_ino_t parent, const char *name, fuse_ino_t newparent, const char *newname);
  12. void mfs_link(fuse_req_t req, fuse_ino_t ino, fuse_ino_t newparent, const char *newname);
  13. void mfs_opendir(fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi);

注意每个函数都有一个fuse_ino_t类型的参数ino,每个文件都对应一个唯一的ino值,fuse需要用到这个值。在文件的目录结构中(在masterserver的元数据中),这个ino用来作为文件和文件夹的标识。在创建文件和文件夹的过程中,这个些目录结构的数据被存在了masterserver上,客户端是没有这些数据的。根目录(/mnt/mfs)的ino被定为0。

以删除一个目录为例具体解释一下代码,下面的函数就是mfsmount模块里面注册的“删除目录”操作所对应的函数:

2. 目录删除所对应的函数
  1. void mfs_rmdir(fuse_req_t req, fuse_ino_t parent, const char *name) {
  2.     uint32_t nleng;
  3.     int status;
  4.     const struct fuse_ctx *ctx;
  5.  
  6.     /*...........*/
  7.  
  8.     ctx = fuse_req_ctx(req);
  9.     status = fs_rmdir(parent,nleng,(const uint8_t*)name,ctx->uid,ctx->gid);
  10.     status = mfs_errorconv(status);
  11.     if (status!=0) {
  12.         fuse_reply_err(req, status);
  13.     } else {
  14.         fuse_reply_err(req, 0);
  15.     }
  16. }

mfs_rmdir函数的各个参数会由fuse传过来,注意看第9行的fs_rmdir,它会与masterserver通信进行真正的删除操作。

总之,这里fuse的作用就是提供一个中间层,用来把用户(或者程序)在挂载点上的文件操作捕捉后转交给mfsmount自己的代码来处理,并把处理的结构再反馈给用户。对于用户来说,在这个挂载点上读写文件和在普通的文件夹里读写文件是一样的,用户感觉不到任何差别。

2.mfsmount的工作过程

▲mfsmount启动后,首先会读取命令行的参数和配置。

▲然后使用fuse定义好挂载点,并对应上mfsmount实现的文件操作函数。

▲设置好到masterserver的连接参数。

▲启动线程fs_nop_thread用于保持与masterserver的连接状态。fs_receive_thread,连接到masterserver并进行通讯,在masterserver上注册,并做一些初始化工作。

▲开始响应客户端的输入(由fuse中转)。

重点解释下响应用户输入的过程,输入就是我们所做的创建、修改文件的操作,这些操作会被移交到在fuse_lowlevel_ops中定义好的各个具体的函数,在这些具体的函数中去和masterserver进行通信。

每次用户所做一个文件操作,就会生成一个threc类型的数据:

threc结构
  1. typedef struct _threc {
  2.     pthread_t thid;
  3.     pthread_mutex_t mutex;
  4.     pthread_cond_t cond;
  5.     uint8_t *buff;
  6.     uint32_t buffsize;
  7.     uint8_t sent;
  8.     uint8_t status;
  9.     uint8_t release;    // cond variable
  10.     uint32_t size;
  11.     uint32_t cmd;
  12.     uint32_t packetid;
  13.     struct _threc *next;
  14. } threc;

里面主要是一些状态字段,其中最重要的是buff,buff里面的数据会被发送给masterserver:

buff的前12个字节存放的是三个整数。后面的空间用于存放发送的具体信息。buff里面的具体内容如下:

▲第1~4个字节(存放一个整数),是具体的命令,说明了需要取什么样的数据。

▲第5~8个字节(存放一个整数),所发送数据的大小。

▲第9~12个字节(存放一个整数),表示的是packetid,这个packetid是唯一的,对应了每一次的操作。

▲第13~**个字节,更具第5~8个字节的情况而定。

我们看一下创建目录(fs_makedir)的时候的代码片段:

fs_makedir 代码片段
  1. ...
  2. ptr = fs_createpacket(rec,CUTOMA_FUSE_MKDIR,15+nleng);
  3. PUT32BIT(parent,ptr);
  4. PUT8BIT(nleng,ptr);
  5. memcpy(ptr,name,nleng);
  6. ptr+=nleng;
  7. PUT16BIT(mode,ptr);
  8. PUT32BIT(uid,ptr);
  9. PUT32BIT(gid,ptr);
  10. ptr = fs_sendandreceive(rec,MATOCU_FUSE_MKDIR,&i);
  11. ...

在上面第2行代码中,fs_createpacket会创建一个threc结构,并设置它的buffer大小为15+nleng+12字节。

后面的这12个字节是固定作为buffer头的,是在创建threc结构的时候填充进去的,在前面说threc结构的时候有描述过。

其中的15+nleng字节的内容就是后面的第3、4、5、7、8、9行所放进去的发送给masterserver的内容。对于不同的操作,具体发送给masterserver的内容会不同。masterserver返回的数据同样也是放在这个threc结构里面。下面是对于创建目录操作对应的threc结构里面的buffer在发送数据给masterserver时的内容:

threc_buffer

数据从masterserver返回后,将数据再从threc结构中取出,把文件夹的参数交给fuse,剩下的就是fuse拿着这些参数去做它自己的事情了(例如,显示信息给用户)。

3.读取、写入文件数据的处理

之前在介绍fuse时说到mfsmount会定义自己的文件操作,其中read和write这两个与实际数据打交道的操作比较特殊。除了read和write外,其它操作都只需要从masterserver获取数据。而read和write操作则需要先和masterserver通信,取得数据所在的chunkserver的地址和端口后,再从chunkserver读写数据。read和write和masterserver通讯的时候仍然使用threc结构

去masterserver上获取chunkserver的IP和Port,这个过程和其它非read、write操作的过程类似,主要代码如下:

fs_readchunk 代码片段
  1. ptr = fs_createpacket(rec,CUTOMA_FUSE_READ_CHUNK,8);
  2. PUT32BIT(inode,ptr);
  3. PUT32BIT(indx,ptr);
  4. ptr = fs_sendandreceive(rec,MATOCU_FUSE_READ_CHUNK,&i);
  5. //... ...
  6. GET64BIT(t64,ptr);
  7. *length = t64;
  8. GET64BIT(t64,ptr);
  9. *chunkid = t64;
  10. GET32BIT(t32,ptr);
  11. *version = t32;
  12. if (i==20) {
  13.     *csip = 0;
  14.     *csport = 0;
  15. } else {
  16.     GET32BIT(t32,ptr);
  17.     *csip = t32;
  18.     GET16BIT(t16,ptr);
  19.     *csport = t16;
  20. }

masterserver会返回文件的版本、长度、ID以及chunkserver的信息。mfsmount然后更具这些信息与chunkserver通信去获取数据,数据读取到后控制权交还给fuse。