Python中fileinput模块介绍

时间:2022-01-19 03:39:14

ileinput模块可以对一个或多个文件中的内容进行迭代、遍历等操作。

该模块的input()函数有点类似文件readlines()方法,区别在于:

前者是一个迭代对象,即每次只生成一行,需要用for循环迭代。

后者是一次性读取所有行。在碰到大文件的读取时,前者无疑效率更高效。

用fileinput对文件进行循环遍历,格式化输出,查找、替换等操作,非常方便。

典型用法

import fileinput
for line in fileinput.input():
process(line)

基本格式

fileinput.input([files[, inplace[, backup[, bufsize[, mode[, openhook]]]]]])

默认格式

fileinput.input (files=None, inplace=False, backup='', bufsize=0, mode='r', openhook=None)

  1. files:                  #文件的路径列表,默认是stdin方式,多文件['1.txt','2.txt',...]  
  2. inplace:                #是否将标准输出的结果写回文件,默认不取代  
  3. backup:                 #备份文件的扩展名,只指定扩展名,如.bak。如果该文件的备份文件已存在,则会自动覆盖。  
  4. bufsize:                #缓冲区大小,默认为0,如果文件很大,可以修改此参数,一般默认即可  
  5. mode:                   #读写模式,默认为只读  
  6. openhook:               #该钩子用于控制打开的所有文件,比如说编码方式等;  
常用函数
  1. fileinput.input()       #返回能够用于for循环遍历的对象  
  2. fileinput.filename()    #返回当前文件的名称  
  3. fileinput.lineno()      #返回当前已经读取的行的数量(或者序号)  
  4. fileinput.filelineno()  #返回当前读取的行的行号  
  5. fileinput.isfirstline() #检查当前行是否是文件的第一行  
  6. fileinput.isstdin()     #判断最后一行是否从stdin中读取  
  7. fileinput.close()       #关闭队列  

常见例子

  • 例子01: 利用fileinput读取一个文件所有行
  1. >>> import fileinput  
  2. >>> for line in fileinput.input('data.txt'):  
  3.         print line,  
  4. #输出结果  
  5. Python  
  6. Java   
  7. C/C++  
  8. Shell  

命令行方式:

  1. #test.py  
  2. import fileinput  
  3.   
  4. for line in fileinput.input():  
  5.     print fileinput.filename(),'|','Line Number:',fileinput.lineno(),'|: ',line  
  6.   
  7. c:>python test.py data.txt  
  8. data.txt | Line Number: 1 |:  Python  
  9. data.txt | Line Number: 2 |:  Java  
  10. data.txt | Line Number: 3 |:  C/C++  
  11. data.txt | Line Number: 4 |:  Shell  
  • 例子02: 利用fileinput对多文件操作,并原地修改内容
  1. #test.py  
  2. #---样本文件---  
  3. c:\Python27>type 1.txt  
  4. first  
  5. second  
  6.   
  7. c:\Python27>type 2.txt  
  8. third  
  9. fourth  
  10. #---样本文件---  
  11. import fileinput  
  12.   
  13. def process(line):  
  14.     return line.rstrip() + ' line'  
  15.   
  16. for line in fileinput.input(['1.txt','2.txt'],inplace=1):  
  17.     print process(line)  
  18.   
  19. #---结果输出---  
  20. c:\Python27>type 1.txt  
  21. first line  
  22. second line  
  23.   
  24. c:\Python27>type 2.txt  
  25. third line  
  26. fourth line  
  27. #---结果输出---  
命令行方式:
  1. #test.py  
  2. import fileinput  
  3.   
  4. def process(line):  
  5.     return line.rstrip() + ' line'  
  6.   
  7. for line in fileinput.input(inplace = True):  
  8.     print process(line)  
  9.   
  10. #执行命令  
  11. c:\Python27>python test.py 1.txt 2.txt  
  • 例子03: 利用fileinput实现文件内容替换,并将原文件作备份
  1. #样本文件:  
  2. #data.txt  
  3. Python  
  4. Java  
  5. C/C++  
  6. Shell  
  7.   
  8. #FileName: test.py  
  9. import fileinput  
  10.   
  11. for line in fileinput.input('data.txt',backup='.bak',inplace=1):  
  12.     print line.rstrip().replace('Python','Perl')  #或者print line.replace('Python','Perl'),  
  13.       
  14. #最后结果:  
  15. #data.txt  
  16. Python  
  17. Java  
  18. C/C++  
  19. Shell  
  20. #并生成:  
  21. #data.txt.bak文件  
  1. #其效果等同于下面的方式  
  2. import fileinput  
  3. for line in fileinput.input():  
  4.     print 'Tag:',line,  
  5.   
  6.   
  7. #---测试结果:     
  8. d:\>python Learn.py < data.txt > data_out.txt  
 
  • 例子04: 利用fileinput将CRLF文件转为LF
  1. import fileinput  
  2. import sys  
  3.   
  4. for line in fileinput.input(inplace=True):  
  5.     #将Windows/DOS格式下的文本文件转为Linux的文件  
  6.     if line[-2:] == "\r\n":    
  7.         line = line + "\n"  
  8.     sys.stdout.write(line)  
  • 例子05: 利用fileinput对文件简单处理
  1. #FileName: test.py  
  2. import sys  
  3. import fileinput  
  4.   
  5. for line in fileinput.input(r'C:\Python27\info.txt'):  
  6.     sys.stdout.write('=> ')  
  7.     sys.stdout.write(line)  
  8.   
  9. #输出结果     
  10. >>>   
  11. => The Zen of Python, by Tim Peters  
  12. =>   
  13. => Beautiful is better than ugly.  
  14. => Explicit is better than implicit.  
  15. => Simple is better than complex.  
  16. => Complex is better than complicated.  
  17. => Flat is better than nested.  
  18. => Sparse is better than dense.  
  19. => Readability counts.  
  20. => Special cases aren't special enough to break the rules.  
  21. => Although practicality beats purity.  
  22. => Errors should never pass silently.  
  23. => Unless explicitly silenced.  
  24. => In the face of ambiguity, refuse the temptation to guess.  
  25. => There should be one-- and preferably only one --obvious way to do it.  
  26. => Although that way may not be obvious at first unless you're Dutch.  
  27. => Now is better than never.  
  28. => Although never is often better than *right* now.  
  29. => If the implementation is hard to explain, it's a bad idea.  
  30. => If the implementation is easy to explain, it may be a good idea.  
  31. => Namespaces are one honking great idea -- let's do more of those!  
  • 例子06: 利用fileinput批处理文件
  1. #---测试文件: test.txt test1.txt test2.txt test3.txt---  
  2. #---脚本文件: test.py---  
  3. import fileinput  
  4. import glob  
  5.   
  6. for line in fileinput.input(glob.glob("test*.txt")):  
  7.     if fileinput.isfirstline():  
  8.         print '-'*20'Reading %s...' % fileinput.filename(), '-'*20  
  9.     print str(fileinput.lineno()) + ': ' + line.upper(),  
  10.       
  11.       
  12. #---输出结果:  
  13. >>>   
  14. -------------------- Reading test.txt... --------------------  
  15. 1: AAAAA  
  16. 2: BBBBB  
  17. 3: CCCCC  
  18. 4: DDDDD  
  19. 5: FFFFF  
  20. -------------------- Reading test1.txt... --------------------  
  21. 6: FIRST LINE  
  22. 7: SECOND LINE  
  23. -------------------- Reading test2.txt... --------------------  
  24. 8: THIRD LINE  
  25. 9: FOURTH LINE  
  26. -------------------- Reading test3.txt... --------------------  
  27. 10: THIS IS LINE 1  
  28. 11: THIS IS LINE 2  
  29. 12: THIS IS LINE 3  
  30. 13: THIS IS LINE 4  
  • 例子07: 利用fileinput及re做日志分析: 提取所有含日期的行
  1. #--样本文件--  
  2. aaa  
  3. 1970-01-01 13:45:30  Error: **** Due to System Disk spacke not enough...  
  4. bbb  
  5. 1970-01-02 10:20:30  Error: **** Due to System Out of Memory...  
  6. ccc  
  7.   
  8. #---测试脚本---  
  9. import re  
  10. import fileinput  
  11. import sys  
  12.   
  13. pattern = '\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'  
  14.   
  15. for line in fileinput.input('error.log',backup='.bak',inplace=1):  
  16.     if re.search(pattern,line):  
  17.         sys.stdout.write("=> ")  
  18.         sys.stdout.write(line)  
  19.   
  20. #---测试结果---  
  21. => 1970-01-01 13:45:30  Error: **** Due to System Disk spacke not enough...  
  22. => 1970-01-02 10:20:30  Error: **** Due to System Out of Memory...  
  • 例子08: 利用fileinput及re做分析: 提取符合条件的电话号码
  1. #---样本文件: phone.txt---  
  2. 010-110-12345  
  3. 800-333-1234  
  4. 010-99999999  
  5. 05718888888  
  6. 021-88888888  
  7.   
  8. #---测试脚本: test.py---  
  9. import re  
  10. import fileinput  
  11.   
  12. pattern = '[010|021]-\d{8}'  #提取区号为010或021电话号码,格式:010-12345678  
  13.   
  14. for line in fileinput.input('phone.txt'):  
  15.     if re.search(pattern,line):  
  16.         print '=' * 50  
  17.         print 'Filename:'+ fileinput.filename()+' | Line Number:'+str(fileinput.lineno())+' | '+line,  
  18.   
  19. #---输出结果:---  
  20. >>>   
  21. ==================================================  
  22. Filename:phone.txt | Line Number:3 | 010-99999999  
  23. ==================================================  
  24. Filename:phone.txt | Line Number:5 | 021-88888888  
  25. >>>   
  • 例子09: 利用fileinput实现类似于grep的功能
  1. import sys  
  2. import re  
  3. import fileinput  
  4.   
  5. pattern= re.compile(sys.argv[1])  
  6. for line in fileinput.input(sys.argv[2]):  
  7.     if pattern.match(line):  
  8.         print fileinput.filename(), fileinput.filelineno(), line  
  9. $ ./test.py import.*re *.py  
  10. #查找所有py文件中,含import re字样的  
  11. addressBook.py  2   import re  
  12. addressBook1.py 10  import re  
  13. addressBook2.py 18  import re  
  14. test.py         238 import re  
  • 例子10: 利用fileinput做正则替换
  1. #---测试样本: input.txt  
  2. * [Learning Python](#author:Mark Lutz)  
  3.       
  4. #---测试脚本: test.py  
  5. import fileinput  
  6. import re  
  7.    
  8. for line in fileinput.input():  
  9.     line = re.sub(r'\* (.*)#(.*)', r'<h2 id="\2">\1</h2>', line.rstrip())  
  10.     print(line)  
  11.   
  12. #---输出结果:  
  13. c:\Python27>python test.py input.txt  
  14. <h2 id="author:Mark Lutz">Learning Python</h2>  

  • 例子11: 利用fileinput做正则替换,不同字模块之间的替换
  1. #---测试样本:test.txt  
  2. [@!$First]&[*%-Second]&[Third]  
  3.   
  4. #---测试脚本:test.py  
  5. import re  
  6. import fileinput  
  7.   
  8. regex = re.compile(r'^([^&]*)(&)([^&]*)(&)([^&]*)')  
  9. #整行以&分割,要实现[@!$First]与[*%-Second]互换  
  10. for line in fileinput.input('test.txt',inplace=1,backup='.bak'):  
  11.     print regex.sub(r'\3\2\1\4\5',line),  
  12.   
  13. #---输出结果:  
  14. [*%-Second]&[@!$First]&[Third]  
  • 例子12: 利用fileinput根据argv命令行输入做替换
  1. #---样本数据: host.txt  
  2. # localhost is used to configure the loopback interface  
  3. # when the system is booting.  Do not change this entry.  
  4. 127.0.0.1      localhost  
  5. 192.168.100.2  www.test2.com  
  6. 192.168.100.3  www.test3.com  
  7. 192.168.100.4  www.test4.com  
  8.   
  9. #---测试脚本: test.py  
  10. import sys  
  11. import fileinput  
  12.   
  13. source = sys.argv[1]  
  14. target = sys.argv[2]  
  15. files  = sys.argv[3:]  
  16.   
  17. for line in fileinput.input(files,backup='.bak',openhook=fileinput.hook_encoded("gb2312")):  
  18.     #对打开的文件执行中文字符集编码  
  19.     line = line.rstrip().replace(source,target)  
  20.     print line  
  21.       
  22. #---输出结果:      
  23. c:\>python test.py 192.168.100 127.0.0 host.txt  
  24. #将host文件中,所有192.168.100转换为:127.0.0  
  25. 127.0.0.1  localhost  
  26. 127.0.0.2  www.test2.com  
  27. 127.0.0.3  www.test3.com  
  28. 127.0.0.4  www.test4.com