Python中读取文件输出时在头部输出\ufeff

时间:2021-06-21 16:43:38

问题出现:

在我测试python中的文本文件的读取与写入时,用到了字典对象来存储读出的数据。

 std_data = dict()
with open(sys.argv[1], encoding='UTF-8') as fp:
alldata = fp.readlines()
for item in alldata:
no, name = item.rstrip('\n').split('、')
std_data[no] = name
print(std_data)

在命令行中运行时始终存在一个开头的\ufeff字符。

Python中读取文件输出时在头部输出\ufeff

测试了几次都如此。

后来在网上查了一下有不少的接近答案但都没有回答我心中的问题,只查到了解决方案。

 no, name = item.encode('utf-8').decode('utf-8-sig').rstrip('\n').split('、')

注:encode('utf-8')和decode('utf-8-sig')需要一起使用,否则会报错。

不过结果问题确实解决了。

Python中读取文件输出时在头部输出\ufeff

可以清晰的看到开头的特殊字符确实不见了。

然后我在百度上终于查到了一个比较完整的解释:

在Windows下用文本编辑器创建的文本文件,如果选择以UTF-8等Unicode格式保存,会在文件头(第一个字符)加入一个BOM标识。

ok,到这一步算是有了一个原因让我信服。接着我又继续了解了一下BOM是什么鬼。

BOM = Byte Order Mark
BOM是Unicode规范中推荐的标记字节顺序的方法。比如说对于UTF-16,如果接收者收到的BOM是FEFF,表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明“我是UTF-8编码”。BOM的UTF-8编码是EF BB BF(用UltraEdit打开文本、切换到16进制可以看到)。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。

好吧,虽然不太看的懂,但是也算知道了,这是一个utf-8文本的前置说明,表明这是一个utf-8文件嘛。同时BOM也是在编码方式中的标记字节顺序的方法。

接下来学习:BOM标识规范。