qqwry.dat输出乱码问题及maven打包后资源文件大小不一致的问题

时间:2022-06-01 22:33:37

使用qqwry.dat进行IP地理位置查询时,遇到一个问题即在本地测试时查询纯真库时正常,没有任何问题,但是打包传到服务器上便出现了乱码问题。

1.首先排除服务器的字符集编码的影响

使用如下命令验证了本地和服务器的编码是一致的

[root@master ~]# echo $LANG
en_US.UTF-8

2.查看qqwry.dat发现该文件是二进制文件,文件自身不存在编码的问题

[root@master ~]# file -i qqwry.dat
qqwry.dat: application/octet-stream; charset=binary

3.从IP库中读取并encoding的时的时候会不会有问题?发现同样在本地都是显示正常,但是传到服务器上全都是乱码。

logger.info("utf-8"+new String(b, offset, len, "utf-8"));
logger.info("gbk"+new String(b, offset, len, "gbk"));
logger.info("gb2312"+new String(b, offset, len, "gb2312"));

4.公司前辈,指点迷津 让我把未编码前的信息打出来,我把byte[]数组里面的二进制数据打印出来

    public static String getString(byte[] b, int offset, int len, String encoding) {
try {
String bts="";
for(int i=0;i<b.length;i++){
bts = bts+String.valueOf(b[i]);
}
logger.info("bytes [] "+bts);
return new String(b, offset, len, encoding);
} catch (UnsupportedEncodingException e) {
return new String(b, offset, len);
}
}

5. 问题出来了,同一个IP从IP库中获取的byte数组是不一样的!!!  

qqwry.dat输出乱码问题及maven打包后资源文件大小不一致的问题

6. 为什么读取出来的信息是不一样的?使用md5sum查看一下文件的md5是否一致,发现本地的qqwry.dat的md5居然和服务器上的不一致!

[root@master target]# md5sum qqwry.dat
8ad56a81343333406a78cfc81ad44cb7 qqwry.dat [root@master target]# md5sum qqwry.dat
3c1db0363910a08a4cc2bbd81e1b0e14 qqwry.dat

7.将本地qqwry.dat scp传到服务器上,是可以的。

8.打包之后的文件不行?直接scp传上去的是正确的?难道是打包的时候出错了吗?

再一次打包上传,发现不仅md5不一样而且文件大小差距也很大,

[root@master target]# du -h qqwry.dat
8.9M qqwry.dat [root@master target]# du -h qqwry.dat
16M qqwry.dat

9.我擦,仔细检查了一下自己maven项目qqwry.dat放到了resources目录下,看不出来什么问题。

查阅资料得知,是因为在maven打包时,对于二进制类型的文件,需要filter过滤掉不然文件会错乱掉!

qqwry.dat输出乱码问题及maven打包后资源文件大小不一致的问题

修改pom.xml的配置内容,重新打包之后发现文件正常了,和源文件的大小是一样的了,上传之后重新测试也是ok了。

<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
<version>2.4.3</version>
<configuration>
<encoding>UTF-8</encoding>
<nonFilteredFileExtensions>
<nonFilteredFileExtension>dat</nonFilteredFileExtension>
</nonFilteredFileExtensions>
</configuration>
</plugin>

10.查阅官网的解释http://maven.apache.org/plugins/maven-resources-plugin/examples/filter.html,非常明了!

qqwry.dat输出乱码问题及maven打包后资源文件大小不一致的问题

总结:

maven打包时如果有用到二进制类型的资源文件,记得在pom.xml中将其过滤掉,不然编译打包完成之后产生的文件会和打包前的不一样。