NTLM认证协议及SSPI的NTLM实现

时间:2021-11-11 16:59:22

没错,NTLM就是你听说过的那个NTLM。是微软应用最广泛的认证协议之一。 NTLM是NT LAN Manager的缩写,这也说明了协议的来源。NTLM 是 Windows NT 早期版本的标准安全协议。Windows 2000内置三种基本安全协议之一。 NTLM适用范围非常广,既可用于域内的认证服务, 也可用于没有AD的环境,让两*立电脑相互认证。

你可能每天都用到它而不自知,你也肯可能觉得你很熟悉它了,但是这里可能还有你所不知道的背后的秘密。  比如,你可能知道NTLM可以认证用户身份,但是你可能不知道NTLM可以提供会话安全服务(NTLM Session security)。  好了, 多的介绍我就不多说了。 网上的介绍非常多了。 我们直接主角。

本文也会分成几篇来写, 现在计划可能包含下面几个大方面的内容:

一.  NTLM协议的认证, 包括 NTLMv1  和 NTLMv2 两个版本。  涉及到NTLM的认证全过程,以及NTLM 的 EPA(Extended Protection for Authentication)实现。

二. NTLM Session Security, 即NTLM的会话安全,或者说是NTLM的SSPI实现。 这一部分内容可能不是很常用,能找到的资料也比较少。 这里先简单的说两句。 我们都知道NTLM可以用于认证,实际上,认证过后,NTLM还能提供安全服务。 比如提供对后续通信的安全签名,防篡改,或者对后续通信进行安全可信赖加密,防止被窃听。这一部分实际上是微软SSPI服务内容。 SSPI是Security Support Provider Interface(Microsoft安全支持提供器接口)。  SSPI是一个安全框架,很多协议都对它有实现。 比如我们熟知的Kerberos认证协议,它也有SSPI实现的部分。

三, NTLM消息的实例

这一部分,我们会找一个具体的实例来解释认证的全过程。

值得注意的是 NTLM 现在已经不光用于windows平台了,Linux 或者 java 平台也可以进行 NTLM 认证,使用 NTLM 的安全服务(但是Java平台对NTLM的会话安全支持貌似有问题)。

作为一个开始,我们先来介绍几个基础概念, 概念清楚了,然后再看技术细节。

1, 什么是认证。

认证就是承认和证明的意思。 就是你能证明你的身份。 比如你要访问一个受保护的资源,服务器需要认证你的身份。 你可以声称你是系统管理员, 但是怎么证明你就是管理员呢。 方法很多,这里有个简单直接的方法就是证明你知道管理员的密码。

认证的问题转化为: “怎么证明你知道你所声称的用户的密码?”这个问题了。

一个简单暴力的证明方法是,让你直接提供密码给服务器,然后服务器去数据库里面比对,看你提供的密码对不对。如果对,认证通过。否则失败。 常见的所谓Windows Forms认证,或者叫做windows basic 认证就是这种方式。 简单直接。 但是密码需要在网络上传输,安全问题就不说了,你懂的。

怎样在不直接提供密码的情况下,间接证明你知道密码呢?  NTLM就是干这个的了。

看起来很神奇,不是吗。  比如对面有两个人互相说话(通信), 说的都是明文,每一句你都能听懂。他们并没有说自己的密码就相互认证身份了,你听了半天,却不知道密码是什么。  更神奇的是, 他们认证之后,再说的话你可能就听不懂了(NTLM Session security,会话安全)。 (如果他们协商会话安全之后,后续的通信都是安全加密的。)

2. 什么是NTLM 认证。

前面已经说过了, NTLM是一种在不直接提供密码的情况下,间接证明客户端知道用户密码的方法。

NTLM认证最常见的应用场景恐怕就是用在浏览器(http协议)上的认证了。 但是实际上,NTLM 只规定了认证的流程,和认证消息格式。 并不跟具体的协议相关。 所以跟http就更没有必然联系了。 浏览器只是在http协议头上携带了NTLM的消息而已,通过了认证。 我们知道http通常是明文的,所以如果直接传输密码非常不安全,NTLM就有效的防止了这个问题。

怎么理解这个问题呢,举个夸张点的例子,  如果不嫌烦,客户端和服务端甚至可以通过传递小纸条的方式传递NTLM消息,来认证身份。 而纸条的内容是明文的, 中间传递者都可以随意查看,但是却无法知道密码,也无法伪造。

现在可以开始技术细节了, 我们还是采取由大及小的方式。 先从整体介绍,再逐步深入。

1. NTLM 的 认证消息,及认证流程。

前面说过了,NTLM消息并不和任何传输协议绑定, 它的认证消息理论上可以通过任何方式传递,所以我们的讨论都集中在协议本身,而不去关心下层的传输方式。

我们先看一个图:

NTLM认证协议及SSPI的NTLM实现

NTLM认证共需要三个消息完成:

(1).  Type1 消息。 Negotiate 协商消息。

客户端在发起认证时,首先向服务器发送协商消息。 协商需要认证的主体,用户,机器以及需要使用的安全服务等等信息。 并通知服务器自己支持的协议内容,加密等级等等。

(2). Type2 消息。 Challenge 挑战消息。

服务器在收到客户端的协商消息之后, 会读取其中的内容,并从中选择出自己所能接受的服务内容,加密等级,安全服务等等。 并生成一个随机数challenge, 然后生成challenge消息返回给客户端。

(3). Type3 消息。 Authenticate认证消息。

客户端在收到服务端发回的Challenge消息之后, 读取熬服务端所支持的内容,和随机数challenge。  决定服务端所支持的内容是否满足自己的要求。 如果满足,则使用自己的密码以及服务器的随机数challenge通过复杂的运算,期间可能需要自己生成一个客户端随机数client challenge也加入运算, 并最终生成一个认证消息。并发回给服务器。

(4). 服务器在收到 Type3的消息之后, 回经过几乎同样的运算,并比较自己计算出的认证消息和服务端发回来的认证消息是否匹配。如果匹配,则证明客户端掌握了正确的密码,认证成功。 允许客户端使用后续服务。  如果不匹配,则认证失败。

2. NTLM 认证消息的结构.

NTLM的消息很简单, 只有三种, Type1,  Type2 和 Type3.   它们都有相似的结构。  认证消息都是二进制的,但是通常我们见到的都是它们的Base64的编码格式。 类似这种:

   1:  TlRMTVNTUAADAAAAGAAYAHAAAACSAJIAiAAAAAAAAAAAAAAAGgAaAEgAAAAOAA4AYgAAAAAAAAAAAAAABYKIogAAAAAAAAAPYQBkAG0AaQBuAGkAcwB0AHIAYQB0AG8AcgBOAEUASQBMAC0AUABDALZLpLeO2n6Sx1s9JjrAfQOqf2QsmfTeP9cjC86k7BsjZEsKzjOoYBcBAQAAAAAAAEDGE3IuR88Bqn9kLJn03j8AAAAAAgAEAEsAQQABAAoARgBTAFcARQBCAAQADABrAGEALgBjAG8AbQADABgAZgBzAHcAZQBiAC4AawBhAC4AYwBvAG0ABQAMAGsAYQAuAGMAbwBtAAcACAC0gtdyLkfPAQAAAAAAAAAA

所以,如果你看到这种形式不要吃惊,把他们用Base64解码即可。

协议中的数字都是采用小端的方式存储。

(1).  消息头

这三种消息都具有相似的消息头:

NTLM认证协议及SSPI的NTLM实现

(2) Flags 标记。

这三种消息一般都会携带一个 4字节的int值, 作为消息的Flags。 Flags在三种消息中的位置不一样,所以没有当做消息头来介绍。 不过,这个flags非常重要。这里先单独来介绍:

(下面是我的代码片段,重点标志我做了注释,后面用到的时候会进一步介绍)

   1:        flagsExps[0x1] = "Unicode";  
   2:        flagsExps[0x2] = "OEM";
   3:        flagsExps[0x4] = "Request Target";
   4:        flagsExps[0x8] = "r10(must be zero)";
   5:   
   6:        flagsExps[0x10] = "Negotiate Sign"; // 需要协商签名服务
   7:        flagsExps[0x20] = "Negotiate Seal"; // 需要协商加密服务
   8:        flagsExps[0x40] = "Negotiate Datagram Style"; //UDP 非连接模式
   9:        flagsExps[0x80] = "Negotiate Lan Manager Key"; // 在某些特定的NTLMv1下使用 Lan manager key  后面会详细介绍
  10:   
  11:        //================================
  12:        flagsExps[0x100] = "Negotiate Netware(r9 must be zero)";
  13:        flagsExps[0x200] = "Negotiate NTLM";
  14:        flagsExps[0x400] = "r8(should be zero)";
  15:        flagsExps[0x800] = "Negotiate Anonymous"; //使用匿名登录
  16:   
  17:        flagsExps[0x1000] = "Negotiate Domain Supplied";
  18:        flagsExps[0x2000] = "Negotiate Workstation Supplied";
  19:        flagsExps[0x4000] = "Negotiate Local Call(r7)";
  20:        flagsExps[0x8000] = "Negotiate Always Sign";
  21:   
  22:   
  23:        //===============================
  24:        flagsExps[0x10000] = "Target Type is a Domain.";
  25:        flagsExps[0x20000] = "Target Type is a Server.";
  26:        flagsExps[0x40000] = "Target Type Share(r6)";
  27:        flagsExps[0x80000] = "Negotiate NTLM2 Key(EXTENDED_SESSIONSECURITY)"; //使用扩展会话安全
  28:   
  29:        flagsExps[0x100000] = "Request Init Response(NTLMSSP_NEGOTIATE_IDENTIFY)";
  30:        flagsExps[0x200000] = "Request Accept Response(r5, must be zero)";
  31:        flagsExps[0x400000] = "Request Non-NT Session Key";
  32:        flagsExps[0x800000] = "Negotiate Target Info"; //协商 携带 TargetInfo
  33:   
  34:        //===============================
  35:        flagsExps[0x1000000] = "r4(must be zero)";
  36:        flagsExps[0x2000000] = "NTLMSSP_NEGOTIATE_VERSION(协商携带操作系统版本号, 一般会忽略此项,仅供调试用途 )";
  37:        flagsExps[0x4000000] = "r3(must be zero)";
  38:        flagsExps[0x8000000] = "r2(must be zero)";
  39:   
  40:        flagsExps[0x10000000] = "r1(must be zero)";
  41:        flagsExps[0x20000000] = "Negotiate 128"; // 协商128位加密
  42:        flagsExps[0x40000000] = "Negotiate Key Exchange"; //协商交换key, 在会话安全中,使用交换key来加密内容,而不是直接使用会话key
  43:        flagsExps[0x80000000] = "Negotiate 56"; //协商56位加密

(3). Type 1 消息

我这里使用下面参考文档2中的一个图来介绍:

NTLM认证协议及SSPI的NTLM实现

a . 前面首先是 8个字节+4个字节的 协议头。前面已经介绍过了。注意,消息类型为1

b . 然后是四个字节的Flags。 前面也介绍过了。  这个Flags中表达了客户端想要使用的NTLM的认证服务, 以及客户端自己所支持的服务。

c. 然后,是若干个可选的security buffer。

注意上图中的 security buffer, 安全缓冲区。 它是一个8字节固定大小的结构体。它看起来像是这个样子:

NTLM认证协议及SSPI的NTLM实现

它其实是一个缓冲区指针。 它指向一个区域, 这个区域相对于Type1消息起始的偏移量为 offset, 这个区域的大小长度为 MaxLength, 其中的有效使用大小为:Length.

如果 Flags 中包含 0×1000 标记, 则需要提供域。把域名写入到这个缓冲区中。 字符集由Flags中的 OEM或者Unicode决定。

如果Flags中包含0×2000标记,则需要提供workstation的名字。  方法同上。

d. 然后是8字节的操作系统版本号。

如果Flags中包含0×2000000, 则需要提供 操作系统的版本号。

操作系统版本号的写法,请参考 参考文档1 的 2.2.2.10 节。

NTLM认证协议及SSPI的NTLM实现

e. 然后,就是携带的前面security buffer中所指向的数据了。

在Type1的消息中,只有前面的 a 和 b项,是必须的, 后面的都是可选的。

(4) Type2 消息

服务端在收到 Type1消息之后, 会生成Type2消息返回给客户端。

这个也比较简单,我们还是用 参考文档2 中的一个图来介绍:

NTLM认证协议及SSPI的NTLM实现

a . 前面首先还是 8个字节+4个字节的 协议头。前面已经介绍过了。 注意此时的消息类型已经是 2了。

b . 然后是四个字节的Flags。 前面也介绍过了。  这个Flags中表达了服务端所能接受的服务。

c. 上图中的TargetName 是要访问的机器名。 存储方法是security buffer. 前面介绍过了,不多说了。

d. Flags 不多说了。

e. Challenge, 这是一个服务端生成的8字节的随机数, 客户端会用来计算key. 后面会详细介绍用法。

f. Context, 这是一个8字节的值,其实是两个连续的32位值。 表示一个内部handle。 当服务端发现客户端就是自身的时候(在用一台电脑上),就会生成一个内部的安全handle,填充到这个字段。并且在Flags中设置  0×4000标记。 表示这是一个本地认证。

g. TargetInformation 也是一个security buffer。 其存储方式前面介绍过。 但是它的buffer中的内容需要介绍一下。基本上,TargetInformation是由一系列连续的 AV_PAIR 结构体连接起来的。

而AV_PAIR的结构如下:

(请参考下面 参考文档1 的 2.2.2.1节)

NTLM认证协议及SSPI的NTLM实现

i) 先是两个字节的int16值, 表示 id, 表示这个AV结构的类型。

目前有如下类型:

NTLM认证协议及SSPI的NTLM实现

NTLM认证协议及SSPI的NTLM实现

ii) 然后是两个字节的int16值,表示值的长度。

iii) 然后就是值。 它的长度在上面指定的。

这个TargetInformation 结构非常重要。 后面Type3中还会用到。

h. 然后是8字节的操作系统版本号。 Type1中已经介绍过了。 不多说了。

然后后面就是要携带的数据了。

到这里先告一段落吧, 这里介绍了 NTLM 的概念以及认证流程。 并详细介绍了Type1和Type2消息, 以及Flags每个标志位的意义。 这大概覆盖了NTLM内容的30%左右的内容。  Type3消息是整个认证中最为复杂和关键的部分,我们将在下一篇中独立介绍。

希望大家多多支持。

欢迎访问我的个人独立博客: http://byNeil.com , 希望和大家多多交流共同进步。

参考文档:

1. MS-NLMP-NT-LAN-Manager-NTLM-Authentication-Protocol-Specification

2. The NTLM Authentication Protocol and Security Support Provider

3. freebsd-freebsd  源码实现

4. Mozilla Firefox source code Developer Guide – MDN-firefox 源码

5. Heimdal NTLM 开源工程

6. samba.org-pub-unpacked-samba_3_current-librpc-idl-ntlmssp.idl

byNeil
byNeil.com