使用shell数据处理数据实例①-------手把手教学版

引子：

在工作过程中经常要处理各种小数据，同事间会用各种工具方法来处理，比如用java、python、Perl甚至用UE手工处理。但貌似不都方便。

今天举一例子使用shell来处理，来说明shell一行可以解决用其它语言多行的问题。

需求：

有两个文件, device_jingweidu.txt 和device.txt，文件内容如下面格式：

device_jingweidu.txt：

,@QQY.SZF,,三明尤溪水东水库坝上,118.210124,26.176165
,@QQY.SZF,,三明尤溪水东水库坝下,118.210124,26.176165
,@QQY.SZF,,北高镇东乡村码头水位监控,119.156551,25.382036
,@QQY.SZF,,海洋渔业无线接入摄像头,,
,@QQY.SZF,,福州连*仔水库上游,119.423026,26.225916
,@QQY.SZF,,福州连*仔水库下游,119.420331,26.230514
,@QQY.SZF,,南平沙溪口水库2,118.09497,26.589413
,@QQY.SZF,,077乌山路市*门口B,119.303413,26.080324
,@QQY.SZF,,三明安砂水库坝上,117.119716,26.038324
,@QQY.SZF,,三明安砂水库坝下,117.119716,26.038324
,@QQY.SZF,,南平沙溪口水库1,118.09497,26.589413
,@QQY.SZF,,福鼎-沙埕渔港(省),120.424978,27.167177
,@QQY.SZF,,福清东张水库大坝上弧门旁,119.296539,25.70688
,@QQY.SZF,,惠女水库溢洪道桥,118.589045,25.099911
,@QQY.SZF,,福州_连江黄歧渔港,119.889881,26.324397
,@QQY.SZF,,福州_罗源磬里渔排区,119.723905,26.468112

后面两列为经维度

device.txt：

@QQY.SZF,@QQY.SZF,,077乌山路市*门口B,,
@QQY.SZF,@QQY.SZF,,福清东张水库大坝上弧门旁,,
@QQY.SZF,@QQY.SZF,,宁德_霞浦三沙渔港,,
@QQY.SZF,@QQY.SZF,,南平_九峰桥头,,
@QQY.SZF,@QQY.SZF,,（暂拆）湄洲镇湄洲岛渔港-,,
@QQY.SZF,@QQY.SZF,,092_北大路华林路口,,
@QQY.SZF,@QQY.SZF,,城厢区下尾渔港-,,
@QQY.SZF,@QQY.SZF,,01闽清水口水库水工楼楼顶,,
@QQY.SZF,@QQY.SZF,,02闽清水口水库船闸屋顶,,
@QQY.SZF,@QQY.SZF,,惠安崇武码头,,

后面两列经维度都为0

现需要将device.txt的文件与device_jingweidu.txt文件比对，然后将经纬度更新上次。

需求很简单，根据地点为参数，然后将经纬度更新至device.txt文件

实现：

思路很简单：将原文件存储，然后再读取要更新的文件进行比对，有的就经纬度替换

先看看python是怎么实现的吧，很简单

#coding:utf-8
'''
Created on 2016-5-4
@author: Administrator
'''

source_text=r'f:\\Work\\device(带经纬度).txt'
uipath=unicode(source_text,'utf8')
dest_text=r'F:\Work\device.txt'

source_dict={}
with open(uipath) as source:
    for line in source:
        new=line.split(',',4)
        source_dict[new[3]]=new[4].strip()

dd=open('f:\\Work\\new_devices.txt','wb')

with open(dest_text) as dest:
    for line in dest:
        new=line.split(',')

        #print new[3],
        if new[3] in source_dict:
            dd.write(",".join(new[:-2])+","+source_dict[new[3]]+"\r\n") #这里是在windows下，所以用\r\n换行
        else:
            dd.write(",".join(new[:-2])+","+"0.0"+"\r\n")

dd.close()

结果如下：

@QQY.SZF,@QQY.SZF,,077乌山路市*门口B,119.303413,26.080324
@QQY.SZF,@QQY.SZF,,福清东张水库大坝上弧门旁,119.296539,25.70688
@QQY.SZF,@QQY.SZF,,宁德_霞浦三沙渔港,0.0
@QQY.SZF,@QQY.SZF,,南平_九峰桥头,118.189546,26.639557
@QQY.SZF,@QQY.SZF,,（暂拆）湄洲镇湄洲岛渔港-,0.0
@QQY.SZF,@QQY.SZF,,092_北大路华林路口,119.299107,26.104303
@QQY.SZF,@QQY.SZF,,城厢区下尾渔港-,0.0
@QQY.SZF,@QQY.SZF,,01闽清水口水库水工楼楼顶,118.839738,26.298528
@QQY.SZF,@QQY.SZF,,02闽清水口水库船闸屋顶,118.839738,26.298528

但是，太麻烦，为了处理文本每次都去写个脚本，万一未装python环境呢。

正好，数据正好在linux下，就直接用shell处理吧，首选awk

awk如何处理两个文件呢

使用NR、FNR来处理，如下：

# awk '{print NR,$0}' file1 file2
 a b c d
 a b d c
 a c b d
 aa bb cc dd
 aa bb dd cc
 aa cc bb dd

# awk '{print FNR,$0}' file1 file2
 a b c d
 a b d c
 a c b d
 aa bb cc dd
 aa bb dd cc
 aa cc bb dd

知道这一点后，处理我们这个需求更方便了，如下：

awk 'BEGIN{FS=OFS=","}NR==FNR{w[$4]=$5","$6}NR>FNR{for(a in w) if (a==$4){print $1,$2,$3,$4,w[a]}}' device_jingweidu.txt device.txt 

结果如下

@QQY.SZF,@QQY.SZF,,077乌山路市*门口B,119.303413,26.080324
@QQY.SZF,@QQY.SZF,,福清东张水库大坝上弧门旁,119.296539,25.70688
@QQY.SZF,@QQY.SZF,,南平_九峰桥头,118.189546,26.639557
@QQY.SZF,@QQY.SZF,,092_北大路华林路口,119.299107,26.104303
@QQY.SZF,@QQY.SZF,,01闽清水口水库水工楼楼顶,118.839738,26.298528
@QQY.SZF,@QQY.SZF,,02闽清水口水库船闸屋顶,118.839738,26.298528

看不懂吗？来解释下吧：

1、awk的编码规则：

awk 'BEGIN{action}
模式{action}
END{action}'

2、BEGIN{FS=OFS=","}  FS表示：指定处理分隔符 OFS:输出分隔符，具体可以参考我之前的blog对FS\OFS\IFS等的解释http://www.cnblogs.com/landhu/p/4962521.html

因为这里的分隔都是以,来处理，所以先将分隔符以,号标识

3、NR==FNR{w[$4]=$5","$6}

NR==FNR，按之前NR和FNR说知道，NR==FNR表明在处理第一个文件

w[$4]=$5","$6，这是awk中的关联数组，下标为文件一中的第四列，值为$5,$6 ，存在数据w中

awk中的关联数组是shell中的一个难点，与其它语言的数组还不一样，具体可以参考：http://www.cnblogs.com/chengmo/archive/2010/10/08/1846190.html

4、NR>FNR

表明处理第二个文件

{for(a in w) if (a==$4){print $1,$2,$3,$4,w[a]}}

关联数组的遍历，遍历时将值与第二个文件的第四列对比，有值时，就输出

优化

这个脚本没问题，但存在一个问题，未匹配上的没有显示且脚本有点长，我们来进行优化下，如下

awk 'BEGIN{FS=OFS=","}NR==FNR{w[$4]=$5","$6}NR>FNR && gsub(/0,0/,w[$4])' device_jingweidu.txt device.txt 

结果如下：

@QQY.SZF,@QQY.SZF,,077乌山路市*门口B,119.303413,26.080324
@QQY.SZF,@QQY.SZF,,福清东张水库大坝上弧门旁,119.296539,25.70688
@QQY.SZF,@QQY.SZF,,宁德_霞浦三沙渔港,
@QQY.SZF,@QQY.SZF,,南平_九峰桥头,118.189546,26.639557
@QQY.SZF,@QQY.SZF,,（暂拆）湄洲镇湄洲岛渔港-,
@QQY.SZF,@QQY.SZF,,092_北大路华林路口,119.299107,26.104303

这个处理就相对好了，没有匹配的数据还有，显示经纬度为空

解释下脚本：

使用了一个awk内置函数gsub，用来替换的，直接将0,0替换数组的值

关于awk内置函数相关文档：http://www.cnblogs.com/chengmo/archive/2010/10/08/1845913.html