node压缩文件夹

前几天遇到一个需求，将一个10G的文件夹打包压缩，并去除黑名单上的文件。

node自带的只能压缩文件。网上看了集中方案要么对大文件操作不行，要么只能直接操作文件夹，无法对文件夹遍历筛选。

后来确定使用先遍历文件夹打包，然后再压缩的方案。然后在找打包模块时发现tar打包时可以直接压缩。试验后确定使用这种方案。本机试验，12G的文件夹，耗时大约18分钟。

代码如下，其中的tar时第三方模块，需要另外安装 npm install tar

 var fs = require('fs')

 var path = require('path')

 var util = require('util')

 var tar = require('tar')

 var zlib = require('zlib')

 var now = Date.now()

 var pack = new tar.Pack({gzip:true})

 var root = path.join('F:\\test')

 console.log(root)

 //遍历文件夹，并以指定基准输出

 readDirSync(root,"base")

 function readDirSync(path,base) {

     if(base == undefined) {

         base = path

     }

     var pa = fs.readdirSync(path)

     pa.forEach((ele,index)=>{

         var info = fs.statSync(path + "/" + ele)

         if(info.isDirectory()) {

             //console.log("dir:" + ele)

             readDirSync(path + "/" + ele,base +"/" + ele)

         } else {

            // console.log("file:" + base +"/" + ele)

            pack.add(path + "/" + ele)

         }

     })

 }

 pack.end()

 var writeStream = fs.createWriteStream('test.tar.gz')

 writeStream.on('finish',()=>{

     console.log(Date.now() - now)

 })

 //pack.write('test.tar')

 pack.pipe(writeStream)

代码的逻辑很简单，就是遍历文件夹，添加到pack流中。第9行，设置使用gzip压缩。得到文件名后就可以对文件做过滤了。也可以使用tar的api，设置filter过滤，根据自己喜好选择。

压缩文件的格式命名需要是 tar.gz 否则用解压软件打开时会产生奇怪的现象~~~

tar的项目地址 https://www.npmjs.com/package/tar

秒客网

node压缩文件夹

相关文章