C++ UTF8 编码转换 GB2312

时间:2022-12-14 14:11:39
void UTF_8ToUnicode(wchar_t* pOut,char *pText)
{
char* uchar = (char *)pOut;
uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
}
void UnicodeToUTF_8(char* pOut,wchar_t* pText)
{
// 注意 WCHAR高低字的顺序,低字节在前,高字节在后
char* pchar = (char *)pText;
pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
pOut[2] = (0x80 | (pchar[0] & 0x3F));
}
void UnicodeToGB2312(char* pOut,wchar_t uData)
{
WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);
}
void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)
{
::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
}
void GB2312ToUTF_8(string& pOut,char *pText, int pLen)
{
char buf[4] = {0};
int nLength = pLen* 3;
char* rst = new char[nLength];
memset(rst,0,nLength);
int i = 0 ,j = 0;
while(i < pLen)
{
//如果是英文直接复制就可以
if( *(pText + i) >= 0)
{
rst[j++] = pText[i++];
}
else
{
wchar_t pbuffer;
Gb2312ToUnicode(&pbuffer,pText+i);
UnicodeToUTF_8(buf,&pbuffer);
rst[j] = buf[0];
rst[j+1] = buf[1];
rst[j+2] = buf[2];
j += 3;
i += 2;
}
}

rst[j] ='\n'; //返回结果
pOut = rst;
delete []rst;
return;
}
void UTF_8ToGB2312(char*pOut, char *pText, int pLen)
{
char Ctemp[4];
memset(Ctemp,0,4);
int i =0 ,j = 0;
while(i < pLen)
{
if(pText[i] >= 0)
{
pOut[j++] = pText[i++];
}
else
{
WCHAR Wtemp;
UTF_8ToUnicode(&Wtemp,pText + i);
UnicodeToGB2312(Ctemp,Wtemp);
pOut[j] = Ctemp[0];
pOut[j + 1] = Ctemp[1];
i += 3;
j += 2;
}
}
pOut[j] ='\n';
return;
}

 

UTF-8:采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示,网络传输, 即使错了一个字节,不影响其他字节,而双字节只要一个错了,其他也错了,具体如下: 
如果只有一个字节则其最高二进制位为0;如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。UTF-8最多可用到6个字节。 
UTF-16:采用2字节,Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从 0×0000到0×007F是ASCII字符,从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0×0370到 0×03FF 的代码,斯拉夫语使用从0×0400到0×04FF的代码,美国使用从0×0530到0×058F的代码,希伯来语使用从0×0590到0×05FF的代码。中国、日本和韩国的象形文字(总称为CJK)占用了从0×3000到0×9FFF的代码;由于0×00在c语言及操作系统文件名等中有特殊意义,故很多情况下需要UTF-8编码保存文本,去掉这个0×00。举例如下: 
UTF-16: 0×0080  = 0000 0000 1000 0000 
UTF-8:   0xC280 = 1100 0010 1000 0000 
UTF-32:采用4字节。 
优缺点 
UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。 
使用UTF-8编码时ASCII字符只占1个字节,存储效率比较高,适用于拉丁字符较多的场合以节省空间。 
对于大多数非拉丁字符(如中文和日文)来说,UTF-16所需存储空间最小,每个字符只占2个字节。 
Windows NT内核是Unicode(UTF-16),采用UTF-16编码在调用系统API时无需转换,处理速度也比较快。 
采用UTF-16和UTF-32会有Big Endian和Little Endian之分,而UTF-8则没有字节顺序问题,所以UTF-8适合传输和通信。 
UTF-32采用4字节编码,一方面处理速度比较快,但另一方面也浪费了大量空间,影响传输速度,因而很少使用。 

1, 常用字符集分类 
ASCII及其扩展字符集 
作用:表语英语及西欧语言。 
位数:ASCII是用7位表示的,能表示128个字符;其扩展使用8位表示,表示256个字符。 
范围:ASCII从00到7F,扩展从00到FF。 
ISO-8859-1字符集 
作用:扩展ASCII,表示西欧、希腊语等。 
位数:8位, 
范围:从00到FF,兼容ASCII字符集。 
GB2312字符集 
作用:国家简体中文字符集,兼容ASCII。 
位数:使用2个字节表示,能表示7445个符号,包括6763个汉字,几乎覆盖所有高频率汉字。 
范围:高字节从A1到F7, 低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。 
BIG5字符集 
作用:统一繁体字编码。 
位数:使用2个字节表示,表示13053个汉字。 
范围:高字节从A1到F9,低字节从40到7E,A1到FE。 
GBK字符集 
作用:它是GB2312的扩展,加入对繁体字的支持,兼容GB2312。 
位数:使用2个字节表示,可表示21886个字符。 
范围:高字节从81到FE,低字节从40到FE。 
GB18030字符集 
作用:它解决了中文、日文、朝鲜语等的编码,兼容GBK。 
位数:它采用变字节表示(1 ASCII,2,4字节)。可表示27484个文字。 
范围:1字节从00到7F; 2字节高字节从81到FE,低字节从40到7E和80到FE;4字节第一三字节从81到FE,第二四字节从30到39。 
UCS字符集 
作用:国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织,UCS-2和UNICODE兼容。 
位数:它有UCS-2和UCS-4两种格式,分别是2字节和4字节。 
范围:目前,UCS-4只是在UCS-2前面加了0×0000。 
UNICODE字符集 
作用:为世界650种语言进行统一编码,兼容ISO-8859-1。 
位数:UNICODE字符集有多个编码方式,分别是UTF-8,UTF-16和UTF-32。