MooseFS源代码分析(二)——mfsmount模块

MooseFS源代码分析

1.fuse介绍

客户端上需要安装有fuse。mfsmount使用了fuse模块，以拥有一个和文件操作一样的操作入口。

fuse的功能简单概括一下，fuse提供一个文件操作的接口，然后fuse在这个接口上监听文件操作，并把这些对文件的操作传给我们自己的相关代码进行处理。 也就是说，fuse提供一个挂载点，然后他会在这个挂在点上进行监听，一旦有操作(新建、读取、修改)发生，他会把控制权交给我们的代码，这些操作的具体代码都在mfsmount模块中实现。

fuse中的fuse_lowlevel_ops结构用来指定自定义的文件操作，mfsmount中定义的结构如下：

1. mfsmount模块main.c代码片段

1. static struct fuse_lowlevel_ops mfs_oper = {
2.     .statfs        = mfs_statfs,
3.     .lookup        = mfs_lookup,
4.     .getattr    = mfs_getattr,
5.     .setattr    = mfs_setattr,
6.     .mknod        = mfs_mknod,
7.     .unlink        = mfs_unlink,
8.     .mkdir        = mfs_mkdir,
9.     .rmdir        = mfs_rmdir,
10.     .symlink    = mfs_symlink,
11.     .readlink    = mfs_readlink,
12.     .rename        = mfs_rename,
13.     .link        = mfs_link,
14.     .opendir    = mfs_opendir,
15.     .readdir    = mfs_readdir,
16.     .releasedir    = mfs_releasedir,
17.     .create        = mfs_create,
18.     .open        = mfs_open,
19.     .release    = mfs_release,
20.     .flush        = mfs_flush,
21.     .fsync        = mfs_fsync,
22.     .read        = mfs_read,
23.     .write        = mfs_write,
24.     .access        = mfs_access,
25. };

这里面的mfs_statfs、mfs_lookup…mfs_write、mfs_access是由mfsmount去实现的函数，一共23种文件操作，mfsmount全部要自己去实现一遍。当在fuse注册的挂载点上(默认对应/mnt/mfs)进行文件操作时，fuse就会使用mfsmount的实现去实现这些操作。 例如，我们在/mnt/mfs创建一个text.txt文件，fuse就会调用mfs_create去进行操作(当然需要传递文件名等必要的参数)，至于我们的代码在什么地方去创建具体的文件，fuse不管。

看一下mfsmount中这些文件操作函数在头文件中的定义：

mfs_fuse.h 代码片段

1. void mfs_access(fuse_req_t req, fuse_ino_t ino, int mask);
2. void mfs_lookup(fuse_req_t req, fuse_ino_t parent, const char *name);
3. void mfs_getattr(fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi);
4. void mfs_setattr(fuse_req_t req, fuse_ino_t ino, struct stat *stbuf, int to_set, struct fuse_file_info *fi);
5. void mfs_mknod(fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode, dev_t rdev);
6. void mfs_unlink(fuse_req_t req, fuse_ino_t parent, const char *name);
7. void mfs_mkdir(fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode);
8. void mfs_rmdir(fuse_req_t req, fuse_ino_t parent, const char *name);
9. void mfs_symlink(fuse_req_t req, const char *path, fuse_ino_t parent, const char *name);
10. void mfs_readlink(fuse_req_t req, fuse_ino_t ino);
11. void mfs_rename(fuse_req_t req, fuse_ino_t parent, const char *name, fuse_ino_t newparent, const char *newname);
12. void mfs_link(fuse_req_t req, fuse_ino_t ino, fuse_ino_t newparent, const char *newname);
13. void mfs_opendir(fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi);

注意每个函数都有一个fuse_ino_t类型的参数ino，每个文件都对应一个唯一的ino值，fuse需要用到这个值。在文件的目录结构中(在masterserver的元数据中)，这个ino用来作为文件和文件夹的标识。在创建文件和文件夹的过程中，这个些目录结构的数据被存在了masterserver上，客户端是没有这些数据的。根目录(/mnt/mfs)的ino被定为0。

以删除一个目录为例具体解释一下代码，下面的函数就是mfsmount模块里面注册的“删除目录”操作所对应的函数：

2. 目录删除所对应的函数

1. void mfs_rmdir(fuse_req_t req, fuse_ino_t parent, const char *name) {
2.     uint32_t nleng;
3.     int status;
4.     const struct fuse_ctx *ctx;
5.  
6.     /*...........*/
7.  
8.     ctx = fuse_req_ctx(req);
9.     status = fs_rmdir(parent,nleng,(const uint8_t*)name,ctx->uid,ctx->gid);
10.     status = mfs_errorconv(status);
11.     if (status!=0) {
12.         fuse_reply_err(req, status);
13.     } else {
14.         fuse_reply_err(req, 0);
15.     }
16. }

mfs_rmdir函数的各个参数会由fuse传过来，注意看第9行的fs_rmdir，它会与masterserver通信进行真正的删除操作。

总之，这里fuse的作用就是提供一个中间层，用来把用户(或者程序)在挂载点上的文件操作捕捉后转交给mfsmount自己的代码来处理，并把处理的结构再反馈给用户。对于用户来说，在这个挂载点上读写文件和在普通的文件夹里读写文件是一样的，用户感觉不到任何差别。

2.mfsmount的工作过程

▲mfsmount启动后，首先会读取命令行的参数和配置。

▲然后使用fuse定义好挂载点，并对应上mfsmount实现的文件操作函数。

▲设置好到masterserver的连接参数。

▲启动线程fs_nop_thread用于保持与masterserver的连接状态。fs_receive_thread，连接到masterserver并进行通讯，在masterserver上注册，并做一些初始化工作。

▲开始响应客户端的输入(由fuse中转)。

重点解释下响应用户输入的过程，输入就是我们所做的创建、修改文件的操作，这些操作会被移交到在fuse_lowlevel_ops中定义好的各个具体的函数，在这些具体的函数中去和masterserver进行通信。

每次用户所做一个文件操作，就会生成一个threc类型的数据：

threc结构

1. typedef struct _threc {
2.     pthread_t thid;
3.     pthread_mutex_t mutex;
4.     pthread_cond_t cond;
5.     uint8_t *buff;
6.     uint32_t buffsize;
7.     uint8_t sent;
8.     uint8_t status;
9.     uint8_t release;    // cond variable
10.     uint32_t size;
11.     uint32_t cmd;
12.     uint32_t packetid;
13.     struct _threc *next;
14. } threc;

里面主要是一些状态字段，其中最重要的是buff，buff里面的数据会被发送给masterserver：

buff的前12个字节存放的是三个整数。后面的空间用于存放发送的具体信息。buff里面的具体内容如下：

▲第1~4个字节(存放一个整数)，是具体的命令，说明了需要取什么样的数据。

▲第5~8个字节(存放一个整数)，所发送数据的大小。

▲第9~12个字节(存放一个整数)，表示的是packetid，这个packetid是唯一的，对应了每一次的操作。

▲第13~**个字节，更具第5~8个字节的情况而定。

我们看一下创建目录(fs_makedir)的时候的代码片段：

fs_makedir 代码片段

1. ...
2. ptr = fs_createpacket(rec,CUTOMA_FUSE_MKDIR,15+nleng);
3. PUT32BIT(parent,ptr);
4. PUT8BIT(nleng,ptr);
5. memcpy(ptr,name,nleng);
6. ptr+=nleng;
7. PUT16BIT(mode,ptr);
8. PUT32BIT(uid,ptr);
9. PUT32BIT(gid,ptr);
10. ptr = fs_sendandreceive(rec,MATOCU_FUSE_MKDIR,&i);
11. ...

在上面第2行代码中，fs_createpacket会创建一个threc结构，并设置它的buffer大小为15+nleng+12字节。

后面的这12个字节是固定作为buffer头的，是在创建threc结构的时候填充进去的，在前面说threc结构的时候有描述过。

其中的15+nleng字节的内容就是后面的第3、4、5、7、8、9行所放进去的发送给masterserver的内容。对于不同的操作，具体发送给masterserver的内容会不同。masterserver返回的数据同样也是放在这个threc结构里面。下面是对于创建目录操作对应的threc结构里面的buffer在发送数据给masterserver时的内容：

数据从masterserver返回后，将数据再从threc结构中取出，把文件夹的参数交给fuse，剩下的就是fuse拿着这些参数去做它自己的事情了(例如，显示信息给用户)。

3.读取、写入文件数据的处理

之前在介绍fuse时说到mfsmount会定义自己的文件操作，其中read和write这两个与实际数据打交道的操作比较特殊。除了read和write外，其它操作都只需要从masterserver获取数据。而read和write操作则需要先和masterserver通信，取得数据所在的chunkserver的地址和端口后，再从chunkserver读写数据。read和write和masterserver通讯的时候仍然使用threc结构

去masterserver上获取chunkserver的IP和Port，这个过程和其它非read、write操作的过程类似，主要代码如下：

fs_readchunk 代码片段

1. ptr = fs_createpacket(rec,CUTOMA_FUSE_READ_CHUNK,8);
2. PUT32BIT(inode,ptr);
3. PUT32BIT(indx,ptr);
4. ptr = fs_sendandreceive(rec,MATOCU_FUSE_READ_CHUNK,&i);
5. //... ...
6. GET64BIT(t64,ptr);
7. *length = t64;
8. GET64BIT(t64,ptr);
9. *chunkid = t64;
10. GET32BIT(t32,ptr);
11. *version = t32;
12. if (i==20) {
13.     *csip = 0;
14.     *csport = 0;
15. } else {
16.     GET32BIT(t32,ptr);
17.     *csip = t32;
18.     GET16BIT(t16,ptr);
19.     *csport = t16;
20. }

masterserver会返回文件的版本、长度、ID以及chunkserver的信息。mfsmount然后更具这些信息与chunkserver通信去获取数据，数据读取到后控制权交还给fuse。