Linux NFS 说明,配置及故障分析

时间:2023-03-10 04:12:44
Linux NFS 说明,配置及故障分析

一、NFS服务简介

NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。


NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。


NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。


 


二、系统环境


系统平台:Red hat 5.8


NFS Server IP:10.48.11.41


防火墙已关闭/iptables: Firewall is not running.


SELINUX=disabled


 


三、安装NFS服务


NFS的安装是非常简单的,只需要两个软件包即可,而且在通常情况下,是作为系统的默认包安装的。


 


nfs-utils-* :包括基本的NFS命令与监控程序 


portmap-* :支持安全NFS RPC服务的连接


1、查看系统是否已安装NFS


[root@exadatabackup dir01]# rpm -qa | grep nfs


nfs-utils-lib-1.0.8-7.9.el5


nfs-utils-1.0.9-60.el5


[root@exadatabackup dir01]# rpm -qa | grep portmap


portmap-4.0-65.2.2.1


 


四、NFS系统守护进程


nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器;


mountd:它是RPC安装守护进程,主要功能是管理NFS的文件系统。当客户端顺利通过nfsd登录NFS服务器后,在使用NFS服务所提供的文件前,还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。


portmap:主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,portmap会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。


 


五、NFS服务器的配置


NFS服务器的配置相对比较简单,只需要在相应的配置文件中进行设置,然后启动NFS服务器即可。


NFS的常用目录


/etc/exports                NFS服务的主要配置文件


/usr/sbin/exportfs          NFS服务的管理命令


/usr/sbin/showmount         客户端的查看命令


/var/lib/nfs/etab           记录NFS分享出来的目录的完整权限设定值


/var/lib/nfs/xtab           记录曾经登录过的客户端信息


 


NFS服务的配置文件为 /etc/exports,这个文件是NFS的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用vim手动建立,然后在文件里面写入配置内容。


 


/etc/exports文件内容格式:


<输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)]


a. 输出目录:


输出目录是指NFS系统中需要共享给客户机使用的目录;


b. 客户端:


客户端是指网络中可以访问这个NFS输出目录的计算机


客户端常用的指定方式:


  指定ip地址的主机:192.168.0.200


  指定子网中的所有主机:192.168.0.0/24 192.168.0.0/255.255.255.0


  指定域名的主机:david.bsmart.cn


  指定域中的所有主机:*.bsmart.cn


  所有主机:*


 


c. 选项:


选项用来设置输出目录的访问权限、用户映射等。


 


NFS主要有3类选项:


访问权限选项:


 设置输出目录只读:ro


 设置输出目录读写:rw


用户映射选项:


  all_squash:    将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);


  no_all_squash: 与all_squash取反(默认设置);


  root_squash:   将root用户及所属组都映射为匿名用户或用户组(默认设置);


  no_root_squash:与rootsquash取反;


  anonuid=xxx:   将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);


  anongid=xxx:   将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);


其它选项


 secure:    限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);


 insecure:  允许客户端从大于1024的tcp/ip端口连接服务器;


 sync:      将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;


 async:     将数据先保存在内存缓冲区中,必要时才写入磁盘;


 wdelay:    检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置);


 no_wdelay: 若有写操作则立即执行,应与sync配合使用;


 subtree:   若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);


 no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;


 


六、NFS服务器的启动与停止


 


在对exports文件进行了正确的配置后,就可以启动NFS服务器了。


1、启动NFS服务器


为了使NFS服务器能正常工作,需要启动portmap和nfs两个服务,并且portmap一定要先于nfs启动。


# service portmap start


# service nfs start


2、查询NFS服务器状态


# service portmap status


# service nfs status  


3、停止NFS服务器


要停止NFS运行时,需要先停止nfs服务再停止portmap服务,对于系统中有其他服务(如NIS)需要使用时,不需要停止portmap服务


# service nfs stop


# service portmap stop


4、设置NFS服务器的自动启动状态


对于实际的应用系统,每次启动LINUX系统后都手工启动nfs服务器是不现实的,需要设置系统在指定的运行级别自动启动portmap和nfs服务。


# chkconfig --list portmap


# chkconfig --list nfs


设置portmap和nfs服务在系统运行级别3和5自动启动。


# chkconfig --level 35 portmap on


# chkconfig --level 35 nfs on


 


[root@exadatabackup dir01]# cat /etc/exports


#/dir01 *(rw,no_root_squash)


#/dir02 *(rw,no_root_squash)


/dir01 *(rw)


/dir02 *(rw)


 


[root@exadatabackup dir01]# exportsfs


-bash: exportsfs: command not found


[root@exadatabackup dir01]# exportfs


/dir01          <world>


/dir02          <world>


 


[root@exadatabackup dir01]# showmount -e


Export list for exadatabackup:


/dir02 *


/dir01 *


 


[root@exadatabackup dir01]# showmount -e


sExport list for exadatabackup:


/dir02 *


/dir01 *


 


[root@exadatabackup dir01]# showmount -a


All mount points on exadatabackup:


10.48.28.3:/dir01


10.48.28.9:/dir01


10.48.28.9:/dir02


 


客户端使用showmount命令查询NFS的共享状态


# showmount -e NFS_SERVER_IP


[root@exadatabackup dir01]# showmount -e 10.48.11.41


Export list for 10.48.11.41:


/dir02 *


/dir01 *


  


NFS有很多默认的参数,打开/var/lib/nfs/etab 查看分享出来的/home/david/ 完整权限设定值。


[root@exadatabackup dir01]# cat /var/lib/nfs/etab 


/dir01  *(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,mapping=identity,anonuid=65534,anongid=65534)


/dir02  *(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,mapping=identity,anonuid=65534,anongid=65534)


  


no_root_squash 是让root保持权限,root_squash 是把root映射成nobody,no_all_squash 不让所有用户保持在挂载目录中的权限。所以,root建立的文件所有者是nfsnobody。


 


关于权限的分析


1. 客户端连接时候,对普通用户的检查


  a. 如果明确设定了普通用户被压缩的身份,那么此时客户端用户的身份转换为指定用户;


b. 如果NFS server上面有同名用户,那么此时客户端登录账户的身份转换为NFS server上面的同名用户;


c. 如果没有明确指定,也没有同名用户,那么此时 用户身份被压缩成nfsnobody;


2. 客户端连接的时候,对root的检查


a. 如果设置no_root_squash,那么此时root用户的身份被压缩为NFS server上面的root;


b. 如果设置了all_squash、anonuid、anongid,此时root 身份被压缩为指定用户;


c. 如果没有明确指定,此时root用户被压缩为nfsnobody;


d. 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody,如果设置了anonuid、anongid将被压缩到所指定的用户与组;


 


相关命令


1、exportfs


如果我们在启动了NFS之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs 命令来使改动立刻生效,该命令格式如下:


 


# exportfs [-aruv]


  -a 全部挂载或卸载 /etc/exports中的内容 


  -r 重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab


  -u 卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录)


  -v 在export的时候,将详细的信息输出到屏幕上。


 


具体例子: 


# exportfs -au 卸载所有共享目录


# exportfs -rv 重新共享所有目录并输出详细信息


 


2、nfsstat


查看NFS的运行状态,对于调整NFS的运行有很大帮助。


 


3、rpcinfo


查看rpc执行信息,可以用于检测rpc运行情况的工具,利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。


 


4、showmount


  -a 显示已经于客户端连接上的目录信息


  -e IP或者hostname 显示此IP地址分享出来的目录


 


5、netstat


可以查看出nfs服务开启的端口,其中nfs 开启的是2049,portmap 开启的是111,其余则是rpc开启的。


最后注意两点,虽然通过权限设置可以让普通用户访问,但是挂载的时候默认情况下只有root可以去挂载,普通用户可以执行sudo。


NFS server 关机的时候一点要确保NFS服务关闭,没有客户端处于连接状态!通过showmount -a 可以查看,如果有的话用kill killall pkill 来结束,(-9 强制结束)


 


故障实例


========


使用nfs挂载失败:


mount: 10.48.11.41:/home/test/distfiles failed, reason given by server: Permission denied


 


关闭防火墙再次mount,依旧如此。


 


查看服务器端/var/log/message记录发现


Aug  2 16:15:11 exadatabackup mountd[1106]: refused mount request from 10.48.28.9 for /dir01 (/dir01): unmatched host


服务器端的/etc/hosts里的主机名ip全部去掉,客户端再次mount,就可以了,但是再换一台客户端问题mount时同样错误又出现了。


 


经过反复实验,最终该问题解决汇总:


解决方式1、去掉/etc/hosts中的主机名ip


解决方式2、查看客户端挂载的目录不具备读写权限,添加权限即可。


解决方式3、服务器和客户机网段不同引起,修改ip地址,使其同网段即可。


用 192.168.0.0/16 替代 192.168.* 方式


----------------------------------------------------------------------------------------------------------------------

网上有人遇到和我同样的问题,其猜测是因为NFS会先把IP地址转成对应的主机名,然后用这个主机名去匹配/etc/exports文件,而该文件都是设置IP段的,当然就没有权限 mount。通过查阅资料和测试,证实了我的这个猜测。 另外才测试过程中,如果使用主机名或者全质量主机名(FQDN)来mount NFS 文件系统,会比单纯使用IP要快得多。因此,如果使用NFS服务的局域网内添加一个DNS服务,然后采用全质量主机名的方式来访问,应该效果会好得多。

本文摘自网络:http://www.cnblogs.com/mchina/archive/2012/12/18/2816717.html