linux下文件合并、分割、去重

时间:2024-04-12 23:05:54

1.文件合并

1.1文件上下合并

  cat f1 f2> muti  (将文件f1、f2合并成文件muti,f1在上,f2在下)

1.2左右合并

  paste f1 f2 > muti  (将文件f1、f2合并成文件muti,f1在左,f2在右,默认使用tab键隔开)

2.文件分割

2.1按行数分割

  split -l 5 file (将文件file进行分割,每个分割后的小文件,行数不大于5)

2.2按大小切割

  spilt -C 20M file (将文件file进行分割,每个分割后的文件最大为20M)

3.文件去重

3.1 可以使用sort命令

  sort -u mm(对mm文件进行排序,重复的行只取一次)