Windows核心编程第二章,字符串的表示以及宽窄字符的转换

目录

• Windows核心编程,字符串的表示以及宽窄字符的转换
  • 1.字符集
    • 1.1.双字节字符集DBCS
    • 1.2 Unicode字符集
    • 1.3 UTF-8编码
    • 1.4 UTF - 32编码.
    • 1.5 Unicode标准包含的对照表.
  • 2.Ansi字符与Unicode字符的字符串数据类型
    • 2.1.Ansi 与 Unicode数据类型
    • 2.2添加的新的数据类型
    • 2.3 TEXT()宏的使用
  • 3.Windows中的Unicode与Ansi函数
    • 3.1 对于Com接口的移植
  • 4.C 运行库中的Unicode跟Ansi函数
    • 4.1.C运行库中的函数
    • 4.2 C库中的安全函数
  • 5.Unicode使用技巧
    • 5.1字符与字符串的处理方式
  • 6.Unicde标准与Ansi之间的转换
    • 6.1.ANSI转Unicode字符的API
    • 6.2.UniCode转ANSI的API

Windows核心编程,字符串的表示以及宽窄字符的转换

1.字符集

1.1.双字节字符集DBCS

何为双字节字符集,在以前我们都是将文本字符串编码为一组以0结尾的单字符.

可以调用strlen进行判断结尾是否是0进而返回字符串的字符个数.

双字节字符集都是由1个或者2个字节组成.日本的汉子就是字符在0x81到0x9f

之间.或者在0xE0 - 0XFC之间,需要检查下一个字节才能判断是一个完整汉字

对于我们来说,一会1个字节,一会两个字节很麻烦,所以除了UNICODE字符集.

1.2 Unicode字符集

Unicode是一项标准,实在1988年由Apple和Xerox建立的.1991是专门成立协会来开发跟推动Unicode标准的.

Unicode每个字符都是使用了UTF-16的编码,Unicode全称(Unicode Transformation Format)(Unicode转换格式) UTF-16编码是将每个字符编码为2个字节.或者是16位.

注意: Unicode是标准. 而 UTF-16才是编码. 注意两者的区别.

1.3 UTF-8编码

除了上边所说的 UTF-16的编码.其实我们也有其余的UTF标准,如UTF - 8

UTF-8是将一些字符编码为1个字节,一些字符编码为两个字节.一些字符编码为3个字节或者4个字节.

了解:

值在0x0080以下的字符,会压缩为1个字节.这符合美国的标准.

值在0x0080 - 0x7FF之间,字符会转换为2个字节.这对欧洲以及东欧非常适合.

值在0x0800以上的字符,都会是3个字节,适合东亚地区的语言

最后代理对被谢伟4个字节, UTF-8是一种相当流向的编码格式.但值在0x800以上,翻译为3个字节的时候,不如UTF-16编码实用.高效.

1.4 UTF - 32编码.

UTF-32编码就是对每一个字节都编程4个字节存储.

如果打算写一个算法,处理字节数不定的字符.就可以实用这种编码.

这种编码用的少.一般都用于应用程序内部,很少用于网络.

1.5 Unicode标准包含的对照表.

2.Ansi字符与Unicode字符的字符串数据类型

2.1.Ansi 与 Unicode数据类型

ANSI:

在C语言中,char是我们常用的数据类型,这个数据类型表示了一个8位的ANSI字符.

如果源代码中,我们声明一个字符串,那么如果是C编译器,则会把字符串中的字符转换为

Char(8位)数据类型构成的一个数组.

如下:

Char c = ‘A’
Char szBuff[] = “ABC”

SzBuff是一个数组,其中 数组的每一项都是一个字符.

UNICODE:

在VC++中,编译器定义了一个自己建立的数据类型. wchar_t,他表示一个16位的Unicode标准的字符. 早期是没有定义的,我们需要在编译器中增加选项 /Zc:wchar_t 才会定义这个数据类型.

如VC++6.0就是需要指定,或者加宏.

UNICODE标准的字符表示方法

Wchar_t  c = L’A’;  宽字符定义的时候需要加L表示这是个宽字符
Wchar_t  wzBuf[] = L”ABC”;定义字符串.

2.2添加的新的数据类型

为了便于程序的编写,windows在WinNt.h中定义了许多新的类型

如下:

typedef wchar_t WCHAR;    // wc,   16-bit UNICODE character
#else
// some Macintosh compilers don't define wchar_t in a convenient location, or define it as a char
typedef unsigned short WCHAR;    // wc,   16-bit UNICODE character
#endif

typedef WCHAR *PWCHAR, *LPWCH, *PWCH;
typedef CONST WCHAR *LPCWCH, *PCWCH;

typedef _Null_terminated_ WCHAR *NWPSTR, *LPWSTR, *PWSTR;
typedef _Null_terminated_ PWSTR *PZPWSTR;
typedef _Null_terminated_ CONST PWSTR *PCZPWSTR;
typedef _Null_terminated_ WCHAR UNALIGNED *LPUWSTR, *PUWSTR;
typedef _Null_terminated_ CONST WCHAR *LPCWSTR, *PCWSTR;
typedef _Null_terminated_ PCWSTR *PZPCWSTR;
typedef _Null_terminated_ CONST PCWSTR *PCZPCWSTR;
typedef _Null_terminated_ CONST WCHAR UNALIGNED *LPCUWSTR, *PCUWSTR;

typedef _NullNull_terminated_ WCHAR *PZZWSTR;
typedef _NullNull_terminated_ CONST WCHAR *PCZZWSTR;
typedef _NullNull_terminated_ WCHAR UNALIGNED *PUZZWSTR;
typedef _NullNull_terminated_ CONST WCHAR UNALIGNED *PCUZZWSTR;

typedef  WCHAR *PNZWCH;
typedef  CONST WCHAR *PCNZWCH;
typedef  WCHAR UNALIGNED *PUNZWCH;
typedef  CONST WCHAR UNALIGNED *PCUNZWCH;

#if _WIN32_WINNT >= 0x0600 || (defined(__cplusplus) && defined(WINDOWS_ENABLE_CPLUSPLUS))

typedef CONST WCHAR *LPCWCHAR, *PCWCHAR;
typedef CONST WCHAR UNALIGNED *LPCUWCHAR, *PCUWCHAR;

_NullNull_terminated 宏的含义
宏是一个头部注解,藐视了一些类型.如何用作函数的参数以及返回值.
我们可以设置代码分析(Code Analysis) 把/analyze开关添加到编译器的命令行中.这样调用函数的话.编译器则会进行检测了.

2.3 TEXT()宏的使用

在Windows中,定义了TEXT()宏,作用就是,我们上面的内建数据类型.有ANSI数据类型,也有UNICODE类型.为了自动使用数据类型,根据编译器当前选择的字符集选项.自动使用数据类型.

如下:

#ifdef  UNICODE                     // 编译器使用ifdef语句自动判断你是否使用的是UNICODE字符集,如果是则下面生效.

#ifndef _TCHAR_DEFINED
typedef WCHAR TCHAR, *PTCHAR;
typedef WCHAR TBYTE , *PTBYTE ;
#define _TCHAR_DEFINED
#endif /* !_TCHAR_DEFINED */

typedef LPWCH LPTCH, PTCH;
typedef LPCWCH LPCTCH, PCTCH;
typedef LPWSTR PTSTR, LPTSTR;
typedef LPCWSTR PCTSTR, LPCTSTR;
typedef LPUWSTR PUTSTR, LPUTSTR;
typedef LPCUWSTR PCUTSTR, LPCUTSTR;
typedef LPWSTR LP;
typedef PZZWSTR PZZTSTR;
typedef PCZZWSTR PCZZTSTR;
typedef PUZZWSTR PUZZTSTR;
typedef PCUZZWSTR PCUZZTSTR;
typedef PZPWSTR PZPTSTR;
typedef PNZWCH PNZTCH;
typedef PCNZWCH PCNZTCH;
typedef PUNZWCH PUNZTCH;
typedef PCUNZWCH PCUNZTCH;
#define __TEXT(quote) L##quote      // r_winnt

#else   /* UNICODE */               // r_winnt

#ifndef _TCHAR_DEFINED
typedef char TCHAR, *PTCHAR;
typedef unsigned char TBYTE , *PTBYTE ;
#define _TCHAR_DEFINED
#endif /* !_TCHAR_DEFINED */

typedef LPCH LPTCH, PTCH;
typedef LPCCH LPCTCH, PCTCH;
typedef LPSTR PTSTR, LPTSTR, PUTSTR, LPUTSTR;
typedef LPCSTR PCTSTR, LPCTSTR, PCUTSTR, LPCUTSTR;
typedef PZZSTR PZZTSTR, PUZZTSTR;
typedef PCZZSTR PCZZTSTR, PCUZZTSTR;
typedef PZPSTR PZPTSTR;
typedef PNZCH PNZTCH, PUNZTCH;
typedef PCNZCH PCNZTCH, PCUNZTCH;
#define __TEXT(quote) quote         // r_winnt

#endif /* UNICODE */                // r_winnt
#define TEXT(quote) __TEXT(quote)   // r_winnt

typedef SHORT *PSHORT;
typedef LONG *PLONG;    

3.Windows中的Unicode与Ansi函数

在Windows中,API(应用程序接口) 是分为A版本,与W版,经常听别人怎么说.

其实意思就是你使用的函数兼容Ansi字符的还是兼容Unicode标准的.

在Windows NT版本以后,所有的版本都是用Unicode组建的,核心都是Unicode组建的.

也就是说你调用A版函数.底层会转换参数,供W版使用.

如我们常见的函数:

MessageBoxA MessageBoxW LoadLibraryA LoadLibraryW

有时候我们调用的是Windows的宏, 如 我们直接调用 MessageBox. 其实它是一个宏,跟Text()宏一样,判断你当前的编译器环境,如果是Unicode环境,那么他就会调用 MessageBoxW.

3.1 对于Com接口的移植

Windows逐渐提供W版本函数但是也会有A函数.这种是不能替代的.

而Com组件从16位移植到32位的时候.都是使用的Unicode字符串作为参数了.

因为Com接口适用于让不同的组建进行对话.而Unicode是最好的选择.

4.C 运行库中的Unicode跟Ansi函数

4.1.C运行库中的函数

C运行库中的函数不存在 A W版本.你调用的A就是A,你调用的W就是W

如我们常见的字符串函数 strcmp 与 wcscmp. 必须使用不同的函数才可以.

而这些函数.在Tchar.h中.定义了宏.

#define _tcscat         wcscat
#define _tcscat_s       wcscat_s
#define _tcschr         wcschr
#define _tcscpy         wcscpy
#define _tcscpy_s       wcscpy_s
#define _tcscspn        wcscspn
#define _tcslen         wcslen
#define _tcsnlen        wcsnlen
#define _tcsncat        wcsncat
#define _tcsncat_s      wcsncat_s
#define _tcsncat_l      _wcsncat_l
#define _tcsncat_s_l    _wcsncat_s_l
#define _tcsncpy        wcsncpy
#define _tcsncpy_s      wcsncpy_s
#define _tcsncpy_l      _wcsncpy_l
#define _tcsncpy_s_l    _wcsncpy_s_l
#define _tcspbrk        wcspbrk
#define _tcsrchr        wcsrchr
#define _tcsspn         wcsspn
#define _tcsstr         wcsstr
#define _tcstok         _wcstok
#define _tcstok_s       wcstok_s
#define _tcstok_l       _wcstok_l
#define _tcstok_s_l     _wcstok_s_l
#define _tcserror       _wcserror
#define _tcserror_s     _wcserror_s
#define __tcserror      __wcserror
#define __tcserror_s    __wcserror_s

#define _tcsdup         _wcsdup
#define _tcsnset        _wcsnset
#define _tcsnset_s      _wcsnset_s
#define _tcsnset_l      _wcsnset_l
#define _tcsnset_s_l    _wcsnset_s_l
#define _tcsrev         _wcsrev
#define _tcsset         _wcsset
#define _tcsset_s       _wcsset_s
#define _tcsset_l       _wcsset_l
#define _tcsset_s_l     _wcsset_s_l

#define _tcscmp         wcscmp
#define _tcsicmp        _wcsicmp
#define _tcsicmp_l      _wcsicmp_l
#define _tcsnccmp       wcsncmp
#define _tcsncmp        wcsncmp
#define _tcsncicmp      _wcsnicmp
#define _tcsncicmp_l    _wcsnicmp_l
#define _tcsnicmp       _wcsnicmp
#define _tcsnicmp_l     _wcsnicmp_l

#define _tcscoll        wcscoll
#define _tcscoll_l      _wcscoll_l
#define _tcsicoll       _wcsicoll
#define _tcsicoll_l     _wcsicoll_l
#define _tcsnccoll      _wcsncoll
#define _tcsnccoll_l    _wcsncoll_l
#define _tcsncoll       _wcsncoll
#define _tcsncoll_l     _wcsncoll_l
#define _tcsncicoll     _wcsnicoll
#define _tcsncicoll_l   _wcsnicoll_l
#define _tcsnicoll      _wcsnicoll
#define _tcsnicoll_l    _wcsnicoll_l
使用  _t开头是Windows定义的宏,作用就是,当你定义了Unicode标准的时候,就会扩展为使用Unicode标注你的C库函数.如 _tcslen ,如果是Unicode标注,则使用 wcslen,否则则使用strlen.

4.2 C库中的安全函数

在C库中定义了许多安全函数. 如 strcpy字符串拷贝与wcscpy

它们只是负责拷贝.但是并不会决定拷贝多少.以至于会破坏内存.

破坏内存则会引起 黑客的攻击. 所以现在一般都是 后面加上s

如

Strcpy_s 等等.可以指定长度.

5.Unicode使用技巧

5.1字符与字符串的处理方式

作用 演示

TCHAR 或者 PTSTR 来表示文本字符以及字符串

	TCHAR Buffer[] = TEXT(“”);\
PTSTR Buffer = TEXT(‘a’);

TEXT() _T()宏进行包含 作用就是根据环境自动选择字符集.

_countof()函数 求缓冲区大小,不是使用sizeof(szBuffer)了,使用_countof(szbuff);

如:

Void *p = malloc(_countof(szbuffer));

%s %S %ls格式化输出 %s输出ANSI

%ls输出宽字符

_tcslen_s()安全的函数 多使用后缀带有_s的函数.

/Gs 检测缓冲区溢出 Gs选项可以检测缓冲区溢出

Lstrcat lstrcpy 这个是Kerner32中处理字符的方法,不要使用.

CompareStringOrdinal

CompareStringEx 检测XML元素属性/注册表使用这些进行比较.不用考虑区域设置.

6.Unicde标准与Ansi之间的转换

主要是两个API

6.1.ANSI转Unicode字符的API

int MultiByteToWideChar(UINT CodePage,
 DWORD dwFlags,
 _In_NLS_string_(cbMultiByte)LPCCHlpMultiByteStr, int cbMultiByte,
 LPWSTR lpWideCharStr,
 int cchWideChar );

参数:

Codepage:用于执行转换的代码页,跟国际有关.一般使用 CP_ACP值,作用就是使用当前系统默认的Ansi代码页.

dwFlags: 允许我们进行额外的控制.一般不使用.所以填充0.

lpMultibyteStr: 你要转换的Ansi数组

CbMultibyte: 你要转换的Ansi数组的大小

LpWideCharstr: 传入一个宽字符的空数组.转换后的字符串传出到这个数组中.

Cchwidechar: 你传入的宽字符空数组的大小.

例子:

#include <windows.h>
#include <stdio.h>
#include <stdlib.h>
int main()
{

	char szBuffer[] = "HelloWorld";
	DWORD szBufferLen = sizeof(szBuffer) / sizeof(szBuffer[0]);
	TCHAR wszBuffer[100] = { 0 };
	DWORD dwWszBufferLen = 100;

	MultiByteToWideChar(CP_ACP, 0, szBuffer, szBufferLen,(LPWSTR)&wszBuffer, dwWszBufferLen);

	printf("%ls \r\n", wszBuffer);
	system("pause");

	return 0;
}

注意传入宽字符数组的时候,传入的是它的地址.你传入地址函数内部才能根据地址将转换的ANSI转换后的值赋值给字符串数组.

6.2.UniCode转ANSI的API

int
WINAPI
WideCharToMultiByte(
    _In_ UINT CodePage,
    _In_ DWORD dwFlags,
    _In_NLS_string_(cchWideChar) LPCWCH lpWideCharStr,
    _In_ int cchWideChar,
    _Out_writes_bytes_to_opt_(cbMultiByte,return) LPSTR lpMultiByteStr,
    _In_ int cbMultiByte,
    _In_opt_ LPCCH lpDefaultChar,
    _Out_opt_ LPBOOL lpUsedDefaultChar
    );

参数比ANSI转UNicode多了最后两个

LpDefaultChar:这个选项是你转换后你的字符不能正常使用.你则需要指定代码页.

使用系统默认的则使用NULL,. 要获取系统默认字符就要用GetCPinfo或者加Ex的函数.

LpUsedDefaultChar:指向该标志的指针,标志表示该函数是否在转换中使用默认字符.

如果一个字符,是无法在代码页中表示的话,我们设置为TRUE,否则就设置为FALSE或者NULL

例子:

int main()
{

	TCHAR wzBuffer[] = TEXT("HelloWorld");
	char szBuff[100] = { 0 };
	DWORD szBufflen = 100;
	DWORD dwWzBufferlen = (sizeof(wzBuffer) / sizeof(wzBuffer[0])) * 2;

	WideCharToMultiByte(CP_ACP, 0,wzBuffer, dwWzBufferlen, szBuff, szBufflen, 0, 0);

	printf("%s \r\n", szBuff);
	system("pause");

	return 0;
}

注意要设置Unicode字符集.如果不设置,则TCHAR相当于是char类型.所以转换就是乱码.