利用 NFS-Ganesha 或 ceph-fuse 与 nfsd， 我们可以将 CephFS 通过 NFS 协议对外发布出去，用户可以通过 NFS 客户端挂载 CephFS 文件系统进行访问。

Table of Contents

  1. Ceph 与 NFS
  2. NFS-Ganesha 挂载 CephFS
    1. 准备条件
    2. 安装 NFS-Ganesha
    3. 配置 NFS-Ganesha
    4. NFS 客户端挂载
  3. ceph-fuse 和 nfsd 挂载 CephFS
    1. NFS 服务端设置
    2. NFS 客户端挂载
  4. 两种方案对比
  5. 参考文献

Ceph 与 NFS

Ceph 是一种开源的分布式存储系统，具有优异的性能、可靠性和可扩展性。 Ceph 底层使用 RADOS，提供 RBD、RGW 和 CephFS 三种标准的访问接口。从 Luminous 版本开始， CephFS 已经具有相当好的稳定性，可用在生产环境。

Ceph StructureCeph Structure

NFS (Network File System) 是常用的网络文件系统，用户通过 NFS 可以像访问本地文件一样访问远程的文件，NFS 服务端和客户端之间通过 NFS 协议进行通信。

用户可以用 Ceph 提供的 ceph-fuse 挂载 CephFS 进行访问，也可以通过 ceph 的内核模块进行挂载访问，具体可参考Ceph 文件系统 CephFS 的介绍与配置。 但有时候，由于各种原因，一些系统无法通过这两种方法访问 CephFS，我们可以将 CephFS 通过 NFS 协议发布出去，用户可以通过 NFS 客户端挂载发布出去的 CephFS。

NFS-Ganesha 挂载 CephFS

CephFS 可以通过 NFS-Ganesha 使用 NFS 协议发布出去。

准备条件

  • 一个设置好的 CephFS 文件系统
  • 在 NFS 服务器上，安装 libcephfs2、nfs-ganesha 和 nfs-ganesha-ceph (ganesha >= 2.5) 包。
  • NFS-Ganesha 服务器与 CephFS 网路相连。

安装 NFS-Ganesha

  1. 通过包管理器安装：
1
$ sudo yum install nfs-ganesha-fsal-ceph
  1. 通过源码安装：
1
2
3
4
5
$ mkdir -p ~/tmp/ && cd ~/tmp
$ git clone https://github.com/nfs-ganesha/nfs-ganesha.git
$ mkdir build && cd build
$ cmake -DUSE_FSAL_CEPH=ON ../nfs-ganesha
$ make && sudo make install

配置 NFS-Ganesha

  1. 关闭防火墙或打开 2049 端口：
1
2
3
4
5
6
### turn off firewall
$ sudo systemctl disable --now firewalld
$ sudo systemctl disable --now iptables
### or open port 2049
$ sudo firewall-cmd --permanent --add-port=2049/tcp
$ sudo firewall-cmd --reload
  1. 启动 rpcbind 和 rpcstatd 服务：
1
2
$ sudo systemctl enable --now rpcbind
$ sudo systemctl enable --now rpcstatd
  1. 复制 Ceph 配置文件到 /etc/ceph/ceph.conf
  2. 根据 NFS-Ganesha 的 Ceph 配置例子， 创建 /etc/ganashe/ceph.conf，类似如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
NFS_CORE_PARAM
{
	Enable_NLM = false;
	Enable_RQUOTA = false;
	Protocols = 4;
}
NFSv4
{
    Allow_Numeric_Owners = true;
    Only_Numeric_Owners = true;
	Delegations = active;
}
CACHEINODE
{
	Dir_Chunk = 0;
	NParts = 1;
	Cache_Size = 1;
}
EXPORT
{
	Export_ID = 1;
	Protocols = 4;
	Transports = TCP;
	Path = /;
	Pseudo = /cephfs/;
	Access_type = RW;
	Delegations = RW;
	# Squash = root;
	FSAL{
		NAME = CEPH;
	}
}
  1. 启动 NFS-Ganesha 服务：
1
2
$ sudo ganesha.nfsd -f /etc/ganesha/ceph.conf -L /var/log/ganesha.log -N NIV_CRIT
$ sudo showmount -e

这样就把 CephFS 通过 NFS 协议导出了。值得注意的是，目前一个运行的 Ganesha 进程只能导出一个 CephFS 中的一个目录；如果多个 CephFS 或 一个 CephFS 中的多个目录需要导出，需要有相应多个 Ganesha 进程。

NFS 客户端挂载

在 NFS 客户端服务器上挂载 CephFS 到 /cephfs：

1
2
3
4
### Usage:
$ sudo mount -t nfs4 -o nfsvers=4.1,protoc=tcp,rw,notime <ganesha-host>:<ganesha-pseudo-path> <mount-point>
### e.g.:
$ sudo mount -t nfs4 -o nfsvers=4.1,proto=tcp,rw,notime <ganesha-host>:/ /cephfs

这样用户就可以通过 NFS 协议访问 CephFS 了。

ceph-fuse 和 nfsd 挂载 CephFS

Ceph 提供了 ceph-fuse 来挂载和访问 CephFS。在 NFS 服务器上通过 ceph-fuse 挂载 CephFS 后，我们可以通过 nfsd 将其发布出去。

NFS 服务端设置

  1. 在 NFS 服务器上挂载 CephFS。
  2. 在 /etc/exports 中添加如下内容:
1
2
3
4
### Usage:
/path/to/mount * (rw,sync,no_root_squash,fsid=ceph-id)
### example:
/cephfs * (rw,sync,no_root_squash,fsid=87761f6e-f839-4597-bfe2-fd850d9a03cf)
  1. 运行 exportfs，并启动 rpcbind 和 nfs-server 服务，将 该节点变成 NFS 服务器。
1
2
3
$ sudo exportfs
$ sudo systemctl enable --now rpcbind
$ sudo systemctl enable --now nfs-server

NFS 客户端挂载

跟前面一样，在 NFS 客户端上通过 NFS 协议挂载 CephFS：

1
$ sudo mount -t nfs4 -o nfsvers=4.1,proto=tcp,rw,notime <nfs-host>:/cephfs /cephfs

这样用户就可以通过 NFS 协议访问 CephFS 了。

两种方案对比

参考文献

  1. NFS+CephFS构建基于Ceph的NAS服务
  2. Ceph提供NFS服务 —— RGW＋nfs-ganesha
  3. MPI-IO with CephFS?
  4. Exporting Ceph FS Over NFS
  5. NFS CephFS Using Ganesha
  6. NFS RadosGW Using Ganesha
  7. 以 CephFS 为例解析如何在云中提供 NAS 服务