一、问题描述
今日收到zabbix监控报警，发现生产环境一台服务器的磁盘空间不足，需要进行处理，登录后发现可利用率不足20%，进行相关查看和处理工作；但是操作删除了一些备份文件和日志信息后，查看空间仍然不足。
二、具体操作过程
1、检查服务器占用硬盘资源的文件
[root@nc-ftp02 ~]# df -hP
Filesystem Size Used Avail Use% Mounted on
/dev/xvda2 99G 4.2G 90G 5% /
tmpfs 3.9G 228K 3.9G 1% /dev/shm
/dev/xvda1 380M 66M 294M 19% /boot
/dev/xvda5 386G 290G 77G 80% /data
[root@nc-ftp02 ~]# cd /data/
[root@nc-ftp02 data]# ls
backup data_bak ftp lost+found script
[root@nc-ftp02 data]# du -sh *
4.1G backup
12G data_bak
813M ftp
16K lost+found
5.0G nchome
16K script
注意：查看后，发现data目录下，并无大文件存在，备份目录下面只保留了2个月的数据，所以问题依旧存在。
这时想起来，在Linux或者Unix系统中，通过rm或者文件管理器删除文件将会从文件系统的文件夹结构上解除链接(unlink).然而假设文件是被打开的（有一个进程正在使用），那么进程将仍然能够读取该文件，磁盘空间也一直被占用。而我删除的是备份和log文件删除的时候文件应该正在被使用；
2、查看删除文件被占用的具体情况
[root@nc-ftp02 data]# lsof -n /data |grep deleted
sh 8757 root 1w REG 202,5 287246420690 12 /data/nohup.out (deleted)
sh 8757 root 2w REG 202,5 287246420690 12 /data/nohup.out (deleted)
rsync 28485 root 1w REG 202,5 287246420690 12 /data/nohup.out (deleted)
rsync 28485 root 2w REG 202,5 287246420690 12 /data/nohup.out (deleted)
ssh 28486 root 2w REG 202,5 287246420690 12 /data/nohup.out (deleted)
ssh 28486 root 6w REG 202,5 287246420690 12 /data/nohup.out (deleted)
[root@nc-ftp02 data]# lsof -n /data |grep deleted|awk '{print $2}'
8757
8757
28674
28674
28675
28675
[root@nc-ftp02 data]# lsof -n /data |grep deleted|awk '{print $2}'|xargs kill -9
[root@nc-ftp02 data]# lsof -n /data |grep deleted
[root@nc-ftp02 data]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda2 99G 4.2G 90G 5% /
tmpfs 3.9G 228K 3.9G 1% /dev/shm
/dev/xvda1 380M 66M 294M 19% /boot
/dev/xvda5 386G 22G 345G 6% /data
3、如何让进程释放？
一种方法是kill掉相应的进程，另一种就是停掉使用这个文件的应用，让os自己主动回收磁盘空间。
3.1、如果系统管理员能够熟悉该服务器上相关应用部署和配置，可以通过第一种方法进行释放，我在操作过程，采用的就是kill掉应用中不使用的进程来释放空间；
当linux打开一个文件的时候,Linux内核会为每个进程在/proc/ 『/proc/nnnn/fd/文件夹（nnnn为pid）』建立一个以其pid
为名的文件夹用来保存进程的相关信息，而其子文件夹fd保存的是该进程打开的全部文件的fd（fd：file descriptor）。
kill进程是通过截断proc文件系统中的文件能够强制要求系统回收分配给正在使用的的文件。
仅到管理员确定不会对执行中的进程造成影响时使用。应用程序对这样的方
式支持的并不好，当一个正在使用的文件被截断可能会引发不可预知的问题
3.2、如果环境有非常多进程在使用的这个文件，停掉进程可能带来一定风险，又不在系统管理员控制范围内，建议不要轻易使用kill进行操作；最好原则合适时间停掉相关应用进行释放。
综上所述，问题解决！
---------------------------------------------书山有路勤为径，学海无涯苦作舟--------------------------------------------------------