lsof在运维中的应用

时间:2022-04-15 13:15:07

场景一:文件系统使用率很高,但是找不到具体哪个文件占用了空间

原因:在unix系统中,如果有两个进程同时使用一个文件,如果其中一个进程删除了这个文件,但是这个文件此刻不会正真被释放,一直要等待引用它的所有进程都释放后才会正真被删除,那么如果别的进程一直在向这个文件写数据,就会造成文件系统很大,但是用普通命令找不到

测试:

Testlsof.sh
#!/bin/sh cnt=1
while (( cnt < 1000 ))
do
echo " TEST lsof command "
sleep 1
cnt=`expr $cnt + 1`
done 在一个窗口运行Testlsof.sh
[root@limt ~]# sh Testlsof.sh > testlsof.log
打开另外一个窗口
[root@limt ~]# rm -rf testlsof.log
这个时候ls会发现testlsof.log不存在了
然后查看Testlsof.sh进程号
[root@limt ~]# ps -ef|grep Testlsof.sh
root 10996 10269 0 10:06 pts/3 00:00:00 sh Testlsof.sh
root 11269 10162 0 10:07 pts/2 00:00:00 grep Testlsof
使用lsof命令可以看到testlsof.log仍被 Testlsof.sh进程打开,但是后面有个delete的字样
[root@limt ~]# lsof -p 10996
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sh 10996 root cwd DIR 253,1 4096 524289 /root
sh 10996 root rtd DIR 253,1 4096 2 /
sh 10996 root txt REG 253,1 938768 475247 /bin/bash
sh 10996 root mem REG 253,1 156872 975392 /lib64/ld-2.12.so
sh 10996 root mem REG 253,1 22536 975399 /lib64/libdl-2.12.so
sh 10996 root mem REG 253,1 1922152 975393 /lib64/libc-2.12.so
sh 10996 root mem REG 253,1 138280 975059 /lib64/libtinfo.so.5.7
sh 10996 root mem REG 253,10 69952 394158 /usr/lib64/gconv/libGB.so
sh 10996 root mem REG 253,10 16976 393954 /usr/lib64/gconv/EUC-CN.so
sh 10996 root mem REG 253,10 99154480 524306 /usr/lib/locale/locale-archive
sh 10996 root mem REG 253,10 26060 394165 /usr/lib64/gconv/gconv-modules.cache
sh 10996 root 0u CHR 136,3 0t0 6 /dev/pts/3
sh 10996 root 1w REG 253,1 2160 526093 /root/testlsof.log (deleted) //此处便是占用空间的文件
sh 10996 root 2u CHR 136,3 0t0 6 /dev/pts/3
sh 10996 root 255r REG 253,1 105 526097 /root/Testlsof.sh

对于场景一我们可以如下找出仍占用文件系统的文件:

lsof不带参数为默认列出所有进程打开的文件

[root@limt ~]# lsof|grep delete
sh 10996 root 1w REG 253,1 2720 526093 /root/testlsof.log (deleted)
然后根据进程号找出进程名
[root@limt ~]# ps -ef|grep 10996
root 10996 10269 0 10:06 pts/3 00:00:00 sh Testlsof.sh

场景二:别人打开了一个应用进程,没有记录应用日志输出到那,通过lsof命令找打日志输出位置

如下:

模拟他人打开一个应用,并输出日志

root@limt ~]# nohup sh Testlsof.sh > 111.log &
[1] 14170
[root@limt ~]# nohup: 忽略输入重定向错误到标准输出端 获得进程名字,查看此进程打开的文件
[root@limt ~]# ps -ef|grep Testlsof
root 14170 13132 0 10:21 pts/5 00:00:00 sh Testlsof.sh
root 14183 13132 0 10:21 pts/5 00:00:00 grep Testlsof
[root@limt ~]# lsof -p 14170
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sh 14170 root cwd DIR 253,1 4096 524289 /root
sh 14170 root rtd DIR 253,1 4096 2 /
sh 14170 root txt REG 253,1 938768 475247 /bin/bash
sh 14170 root mem REG 253,1 156872 975392 /lib64/ld-2.12.so
sh 14170 root mem REG 253,1 22536 975399 /lib64/libdl-2.12.so
sh 14170 root mem REG 253,1 1922152 975393 /lib64/libc-2.12.so
sh 14170 root mem REG 253,1 138280 975059 /lib64/libtinfo.so.5.7
sh 14170 root mem REG 253,10 69952 394158 /usr/lib64/gconv/libGB.so
sh 14170 root mem REG 253,10 16976 393954 /usr/lib64/gconv/EUC-CN.so
sh 14170 root mem REG 253,10 99154480 524306 /usr/lib/locale/locale-archive
sh 14170 root mem REG 253,10 26060 394165 /usr/lib64/gconv/gconv-modules.cache
sh 14170 root 0w CHR 1,3 0t0 3842 /dev/null
sh 14170 root 1w REG 253,1 280 526102 /root/111.log //此处便是日志输出文件(0,1,2是进程默认打开的文件描述符)
sh 14170 root 2w REG 253,1 280 526102 /root/111.log //这里我们是把1,2的文件描述符重定向到111.log
sh 14170 root 255r REG 253,1 105 526097 /root/Testlsof.sh

场景三:查看某个端口是被那个进程打开

</pre><pre code_snippet_id="557768" snippet_file_name="blog_20141221_3_2022099" name="code" class="python">[root@limt ~]# lsof -i:22
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sshd 2589 root 3u IPv4 16268 0t0 TCP *:ssh (LISTEN)
sshd 2589 root 4u IPv6 16270 0t0 TCP *:ssh (LISTEN)
sshd 2665 root 3u IPv4 16523 0t0 TCP 192.168.1.104:ssh->limt:59580 (ESTABLISHED)
sshd 10157 root 3u IPv4 75435 0t0 TCP 192.168.1.104:ssh->limt:49212 (ESTABLISHED)
sshd 13110 root 3u IPv4 94454 0t0 TCP 192.168.1.105:ssh->limt:49285 (ESTABLISHED) 可以看到2589进程在IPv4和IPv6打开了22进程端口

场景四:在卸载一个文件系统时候报device is busy

[root@limt ~]# umount /yunwei/
umount: /yunwei: device is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))
[root@limt ~]# lsof /yunwei/
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
bash 13132 root cwd DIR 253,5 4096 2 /yunwei [root@limt ~]# ps -ef|grep 13132
root 13132 13110 0 10:15 pts/5 00:00:00 -bash
root 17262 15204 0 10:42 pts/6 00:00:00 grep 13132
[root@limt ~]#
[root@limt ~]# kill -9 13132
[root@limt ~]# umount /yunwei/

五,利用/proc文件查看进程打开文件



可以看到有个more程序打开了111.log文件

[root@limt ~]# ps -ef|grep more
root 17369 17330 0 10:44 pts/0 00:00:00 more 111.log
root 17390 15204 0 10:45 pts/6 00:00:00 grep more
[root@limt ~]# cd /proc/17369
[root@limt 17369]# pwd
/proc/17369
[root@limt 17369]# ls
attr clear_refs cwd fdinfo maps mountstats oom_score root smaps status
autogroup cmdline environ io mem net oom_score_adj sched stack syscall
auxv coredump_filter exe limits mountinfo numa_maps pagemap schedstat stat task
cgroup cpuset fd loginuid mounts oom_adj personality sessionid statm wchan
[root@limt 17369]# cd fd
[root@limt fd]# ls -lrt
总用量 0
lrwx------. 1 root root 64 12月 19 10:45 2 -> /dev/pts/0
lr-x------. 1 root root 64 12月 19 10:46 3 -> /root/111.log
lrwx------. 1 root root 64 12月 19 10:46 1 -> /dev/pts/0
lrwx------. 1 root root 64 12月 19 10:46 0 -> /dev/pts/0
可以看到文件描述符3就是/root/111.log

六,/proc文件系统与lsof命令

[root@limt fd]# ps -ef|grep ssh
root 2589 1 0 07:40 ? 00:00:00 /usr/sbin/sshd
root 13110 2589 0 10:15 ? 00:00:00 sshd: root@pts/0,pts/6
root 17491 15204 0 10:47 pts/6 00:00:00 grep ssh
[root@limt fd]# cd /proc/2589
[root@limt 2589]# cd fd
[root@limt fd]# ls
0 1 2 3 4
[root@limt fd]# ls -lrt
总用量 0
lrwx------. 1 root root 64 12月 19 10:29 4 -> socket:[16270] //打开了两个socket
lrwx------. 1 root root 64 12月 19 10:29 3 -> socket:[16268]
lrwx------. 1 root root 64 12月 19 10:29 2 -> /dev/null
lrwx------. 1 root root 64 12月 19 10:29 1 -> /dev/null
lrwx------. 1 root root 64 12月 19 10:29 0 -> /dev/null
[root@limt fd]#
[root@limt fd]# netstat -an|grep 22
tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp 0 52 192.168.1.105:22 192.168.1.103:49285 ESTABLISHED
tcp 0 0 :::22 :::* LISTEN [root@limt fd]#
[root@limt fd]# lsof -p 2589
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sshd 2589 root cwd DIR 253,1 4096 2 /
sshd 2589 root rtd DIR 253,1 4096 2 /
sshd 2589 root txt REG 253,10 526008 581654 /usr/sbin/sshd
sshd 2589 root mem REG 253,1 65928 974878 /lib64/libnss_files-2.12.so
sshd 2589 root mem REG 253,1 243096 975421 /lib64/libnspr4.so
sshd 2589 root mem REG 253,1 17096 975423 /lib64/libplds4.so
sshd 2589 root mem REG 253,1 21256 975422 /lib64/libplc4.so
sshd 2589 root mem REG 253,10 177952 439737 /usr/lib64/libnssutil3.so
sshd 2589 root mem REG 253,1 145720 975396 /lib64/libpthread-2.12.so
sshd 2589 root mem REG 253,1 12592 975408 /lib64/libkeyutils.so.1.3
sshd 2589 root mem REG 253,1 46368 975410 /lib64/libkrb5support.so.0.1
sshd 2589 root mem REG 253,1 386040 975419 /lib64/libfreebl3.so
sshd 2589 root mem REG 253,1 1922152 975393 /lib64/libc-2.12.so
sshd 2589 root mem REG 253,10 1286744 451926 /usr/lib64/libnss3.so
sshd 2589 root mem REG 253,1 17256 975412 /lib64/libcom_err.so.2.1
sshd 2589 root mem REG 253,1 177520 975411 /lib64/libk5crypto.so.3.1
sshd 2589 root mem REG 253,1 944712 975413 /lib64/libkrb5.so.3.3
sshd 2589 root mem REG 253,1 280520 975414 /lib64/libgssapi_krb5.so.2.2
sshd 2589 root mem REG 253,1 113952 975403 /lib64/libresolv-2.12.so
sshd 2589 root mem REG 253,1 43392 975420 /lib64/libcrypt-2.12.so
sshd 2589 root mem REG 253,1 116368 974900 /lib64/libnsl-2.12.so
sshd 2589 root mem REG 253,1 91096 975398 /lib64/libz.so.1.2.3
sshd 2589 root mem REG 253,1 17520 975404 /lib64/libutil-2.12.so
sshd 2589 root mem REG 253,10 1665328 436731 /usr/lib64/libcrypto.so.1.0.0
sshd 2589 root mem REG 253,1 124624 975409 /lib64/libselinux.so.1
sshd 2589 root mem REG 253,1 22536 975399 /lib64/libdl-2.12.so
sshd 2589 root mem REG 253,1 58480 975442 /lib64/libpam.so.0.82.2
sshd 2589 root mem REG 253,1 115536 975434 /lib64/libaudit.so.1.0.0
sshd 2589 root mem REG 253,1 43256 975444 /lib64/libwrap.so.0.7.6
sshd 2589 root mem REG 253,1 12688 975098 /lib64/libfipscheck.so.1.1.0
sshd 2589 root mem REG 253,1 156872 975392 /lib64/ld-2.12.so
sshd 2589 root 0u CHR 1,3 0t0 3842 /dev/null
sshd 2589 root 1u CHR 1,3 0t0 3842 /dev/null
sshd 2589 root 2u CHR 1,3 0t0 3842 /dev/null
sshd 2589 root 3u IPv4 16268 0t0 TCP *:ssh (LISTEN)
sshd 2589 root 4u IPv6 16270 0t0 TCP *:ssh (LISTEN) 可以看到lsof显示的两个TCP文件的DEVICE与/proc一致(16268,16270)

lsof在运维中的应用的更多相关文章

  1. linux运维中的命令梳理(一)

    在linux日常运维中,我们平时会用到很多常规的操作命令. 下面对常用命令进行梳理: 命令行日常系快捷键(不分大小写)CTRL + A 移动光标到行首CTRL + E 移动光标到行末CTRL + U ...

  2. autohotkey在运维中的应用

         AutoHotkey是一个*.开源的宏生成器和自动化软件工具,它让用户能够自动执行重复性任务.AutoHotkey可以修改任何应用程序的用户界面(例如,把默认的Windows按键控制命令替 ...

  3. DBA避坑宝典:Oracle运维中的那些事儿

    对于Oracle运维中的那些事儿,我的最终目的:不是比谁更惨,而是能够从中吸取经验和教训. 从我的理解来看,我会从下面的几个方面来进行说明DBA运维中的一些事儿. 每个部分都是非常关键的,缺一不可,而 ...

  4. 漫谈ELK在大数据运维中的应用

    漫谈ELK在大数据运维中的应用 圈子里关于大数据.云计算相关文章和讨论是越来越多,愈演愈烈.行业内企业也争前恐后,群雄逐鹿.而在大数据时代的运维挑站问题也就日渐突出,任重而道远了.众所周知,大数据平台 ...

  5. 安全运维中基线检查的自动化之ansible工具巧用

    i春秋作家:yanzm 原文来自:安全运维中基线检查的自动化之ansible工具巧用 前几周斗哥分享了基线检查获取数据的脚本,但是在面对上百台的服务器,每台服务器上都跑一遍脚本那工作量可想而知,而且都 ...

  6. HDFS datanode心跳与运维中的实际案例

    分布式系统的节点之间常采用心跳来维护节点的健康状态,如yarn的rm与nm之间,hdfs的nn与dn之间.DataNode会定期(dfs.heartbeat.interval配置项配置,默认是3秒)向 ...

  7. linux运维中的命令梳理(二)

    回想起来,从事linux运维工作已近5年之久了,日常工作中会用到很多常规命令,之前简单罗列了一些命令:http://www.cnblogs.com/kevingrace/p/5985486.html今 ...

  8. 浅谈运维中的安全问题-FTP篇

    写这一系列文章的动因很简单,在年前最后一个项目的时候在客户现场做了的几个安全加固.由于时间问题,很多东西就拿来主义没经过思考直接更改了,并未细细品味其中的原理和方法,所以特地搭建实验环境,分析下其中的 ...

  9. 运维中的日志切割操作梳理(Logrotate&sol;python&sol;shell脚本实现)

    对于Linux系统安全来说,日志文件是极其重要的工具.不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本,大家似乎遗忘了Logrotate,争相发明自己的轮 ...

随机推荐

  1. WPF 组合快捷键(Ctrl&plus;C)

    页面程序: <Window x:Class="WpfDataGrid.Window1"        xmlns="http://schemas.microsoft ...

  2. 聊聊动画引擎 pop

    iOS可以通过CADisplayLink实现自定义动画引擎,pop就是基于此实现的,而且比原生Core Animation更强大好用.譬如当ViewController侧滑返回的时候,系统会将Core ...

  3. mysql出现Waiting for table metadata lock的原因及解决方案

    最近经常遇到mysql数据库死锁,郁闷死, show processlist; 时 Waiting for table metadata lock 能一直锁很久 下面有官网的一段话,可以理解下 htt ...

  4. 网站地图怎么做&quest;dedecms网站地图制作方法听语音

    网站地图怎么生成?下面分享织梦dedecms系统网站地图的生成方式,怎么制作网站地图,方法很简单.下面介绍一下网站地图优化方法及制作方法. 工具/原料 一个网站 方法/步骤 第一步 登录网站后台 第二 ...

  5. 用jQuery做一个选项卡

    1.首先我们点击选项卡的标题栏来改变内容

  6. Hadoop源码篇--Reduce篇

    一.前述 Reduce文件会从Mapper任务中拉取很多小文件,小文件内部有序,但是整体是没序的,Reduce会合并小文件,然后套个归并算法,变成一个整体有序的文件. 二.代码 ReduceTask源 ...

  7. &lbrack;MySQL&rsqb;select和where子句优化

    数据库优化:1.可以在单个SQL语句,整个应用程序,单个数据库服务器或多个联网数据库服务器的级别进行优化2.数据库性能取决于数据库级别的几个因素,例如表,查询和配置设置3.在数据库级别进行优化,在硬件 ...

  8. CQOI2018异或序列 &lbrack;莫队&rsqb;

    莫队板子 用于复习 #include <cstdio> #include <cstdlib> #include <algorithm> #include <c ...

  9. Linux查看服务器配置

    服务器型号 [root@txs ~]# dmidecode|grep "System Information" -A9|egrep "Manufacturer|Produ ...

  10. My ajaxwrapper tool

    Until recently, when I write ajax call, always write like below: $.ajax({ type: "post", da ...