使用NFS服务提高hadoop 可靠性

时间:2022-09-24 22:51:21

     众所周知 hadoop是一个单点系统,即所谓的spof,所以元数据的保护就是重中之重。目前元数据写两份,分别是本地的磁盘,远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。

     NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。

    首先下载NFS,网址是http://sourceforge.net/projects/nfs/files/ 选择合适的版本下载。到server和client机器安装。

    编辑server主机的文件/etc/exports /etc/hosts.allow /etc/hosts.deny三个文件。

    对/etc/exports  加入例如:/data0 10.39.2.121(rw,no_root_squash)

    其中/data0为对外开放的目录  后面是机器加权限,详细说明见 http://nfs.sourceforge.net/nfs-howto/ar01s03.html

    启动nfs server的服务:

/etc/init.d/portmap start  

/etc/init.d/nfslock start  

/etc/init.d/nfs start   

    在client端同样启动相同的服务。

    同时在client端挂在远程目录   sudo mount master:/data0/ /data1

   /data1是client端本地目录。