【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

时间:2022-05-27 10:09:13

统计角度窥视模型概念

作者:白宁超

2016年7月18日17:18:43

摘要:写本文的初衷源于基于HMM模型序列标注的一个实验,实验完成之后,迫切想知道采用的序列标注模型的好坏,有哪些指标可以度量。于是,就产生了对这一专题进度学习总结,这样也便于其他人参考,节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标,重点达到实用。本文布局如下:第一章采用统计学习角度介绍什么是学习模型以及如何选择,因为现今的自然语言处理方面大都采用概率统计完成的,事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例,进行实战操作,更深入了解模型的相关问题。(本文原创,转载请注明出处统计角度窥视模型概念。)

目录


【自然语言处理:谈谈学习模型的评估(一)】:统计角度窥视模型概念

【自然语言处理:谈谈学习模型的评估(二)】:基于Data Mining角度的模型评估与选择

【自然语言处理:谈谈学习模型的评估(三)】:基于NLP角度的模型评价方法

【自然语言处理:谈谈学习模型的评估(四)】:基于R语言的模型案例实战

1 什么是模型?


1.1  概念简述

李航《统计学习方法》一书:统计学习方法是由模型、策略和算法构成的,即统计学习方法的三要素构成,简化:方法=模型+策略+算法

*对数学模型描述:数学模型是对所描述的对象用数学语言所作出的描述和处理。

百度百科对策略描述:策略是学习是一项复杂的智能活动,学习过程与推理过程是紧密相连的,按照学习中使用推理的多少,机器学习所采用的策略大体上可分为4种——机械学习、通过传授学习、类比学习和通过事例学习。学习中所用的推理越多,系统的能力越强。

单纯定义看,不免让人一头雾水,究竟何为模型?还是没有明确的概念,下文将以数学描述+形式化阐述这个问题。首先解决了什么是模型,咱们才能进行模型好坏指标的评价,进而选择适合的学习模型。

模型:所有学习的条件概率分布或者决策函数。

模型的假设空间:包含所有有可能的条件概率分布或者决策函数。

1.2 实例解析

假设决策函数是输入变量的线性函数,模型的假设空间就是这些线性函数构成的函数集合,假设空间中的模型一般为无穷多个。【现实应用:假设解决序列词性标注的的函数模型M,模型的假设空间的由不同参数构成的M模型。(不是很严谨,辅助理解。)】

形式化表示:假设空间F表示,假设空间可以为决策函数的集合:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

x,y在输入空间X和输出空间Y上的变量,这时F通常由一个参数向量决定的函数族:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

参数向量θ取值于n维欧氏空间 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一),称为参数空间。

假设空间也可以定义为条件概率集合:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

其中x和y是定义在输入空间X和Y上的随机变量,这时F通常是一个参数向量的决定的条件概率分布族:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

参数向量θ取值于n维欧氏空间【NLP】蓦然回首:谈谈学习模型的评估系列文章(一),称为参数空间。

注意:由决策函数表示的模型为非概率模型(如上述F函数),由条件概率表示的模型为概率模型(如上述y=f(x)函数)。

2 如何进行模型评估和模型选择?

2.1  训练误差和测试误差

好的模型的特征:对已知数据和未知数据都有很好的预测能力。

学习方法评估标准:基于损失函数的模型的训练误差和测试误差为指标

假设学习到的模型 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一) ,训练误差是模型 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)关于训练数据集的平均损失:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

其中N是训练样本容量。

测试误差是模型 关于测试数据集的平均损失:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

其中N’是训练样本容量。

2.2 实例

若损失函数是0-1损失时候(0-1损失参考具体相关知识),测试误差就变成了常见的测试数据集上的误差率。

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一),这里的I是指示函数,即【NLP】蓦然回首:谈谈学习模型的评估系列文章(一) 时为1,否则为0。

相应的,常见的测试数据集上的准确率是:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一),这里的I是指示函数,即 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)时为1,否则为0。

显然: 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

2.3 实例解析

根据误差率和准确率可知,测试误差反映了学习方法对未知情况的测试数据集的预测能力,测试误差小的方法具有很好的预测能力,更有效的预测。通常将学习方法对未知数据的预测能力称为泛化能力。

由此我们可以应用到现实想NLP模型中,诸如分类模型,当测试误差更小的时候,分类更加准确。聚类模型中,当测试误差较小时候,聚类效果更好等等。那么,在追去测试误差较小时候,就要在训练上下功夫。一味苛求训练效果好,训练误差小,以至于所选择的模型复杂度非常高,这样的低训练误差,能换回好的预测?其实这就容易出现过拟合,如何避免过拟合选择更好的模型?下节继续。

3   过拟合与模型选择

3.1 何时进行模型选择?

当假设空间含有不同的复杂度(如,不同的参数个数)的模型时,就要面临模型选择问题,以期我们所表达的模型与真实的模型(参数个数)相同或相近。

过拟合:一味追求提高对训练数据的预测能力,所选择模型的复杂度往往比真实模型高,此现象就是过拟合。

过拟合指学习时选择的模型包含的参数过多,以至于出现模型对已经数据预测的好,但是对未知数据预测能力较差。模型选择准则是避免过拟合并且去提高模型预测的能力。

3.2 实例

给出一个训练数据集 【NLP】蓦然回首:谈谈学习模型的评估系列文章(一) 和一个M次多项式的模型

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

完成下面10个数据点的拟合。

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)是输入序列集x的观察值

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)是输出序列集y的观察值

M 次项式是解决问题的模型

W为参数

解决如上问题按照经验风险最小化策略求解参数即可,即数学表达:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

损失函数为平方损失,1/2是便于计算。然后将模型公式和训练数据代入风险最小化公式:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一),最后采用最小二乘法(过程略)求解。

3.3 实例分析

如上图给出M=0,1,3,9的多项式函数的拟合情况,当M=0时,多项式为一个常数,数据拟合很差,当M=1时,多项式曲线为一条直线,拟合依旧差;当M=9时,多项式通过每一个点,训练误差0,从训练数据拟合角度分析,效果最好,但是训练数据本身很多噪音,对未来数据预测能力差,达不到预期的效果。这就是过拟合,虽然训练数据好但是未知数据差。当M=3时,多项式曲线对训练数据拟合效果比较好,对未知数据拟合也很好,其模型也简单,可以选择。总结:模型选择时,不仅仅考虑对已知数据的预测能力,还有考虑对未知数据的预测能力。

训练误差和测试误差与模型复杂度的关系如下图:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

可知,当模型复杂度增大时候,训练误差会逐渐减少趋近于0,而测试误差会先减小到最小值后又增大。当选择模型复杂度过大时,过拟合问题就会出现。

3.4 补充

NLP序列句子识别标注实例更好理解本节。(以下实例便于理解假设的,不是特别严谨)

训练数据集T={(南 B),(海 I),(是 I), (中 I),(国 I),(领 I), (土 I),(。 O) }未知数据P={(不 B), (容 I),(争I),( 议 I),(。 O)}采用BIO标注,B代表句子开始,I代表中间连续词,O代表句子。结束。假设采用模型M识别, M次多项式的模型

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

完成下面句子识别。

结果分析:

M=0时候,模型一个常数效果很差,识别如下:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

M=1时候,模型一条直线效果很差,识别如下:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

M=3时候,模型曲线拟合基本合理,且未知数据预测较好,识别如下:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

M=9时候,模型一条直线效果很差,识别如下:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

训练数据集:

【NLP】蓦然回首:谈谈学习模型的评估系列文章(一)

实验可知:左侧为训练模型的数据,右侧为测试模型的数据。当M=0时,训练误差和测试误差都很大;当M=1时,训练误差和测试误差较大;当M=3时,训练误差比M=9的训练误差大,总体训练误差还好,但是,预测误差却小于M=9时的预测误差。综合比较,选择M=3的模型效果会更好。综上,旨在让大家更好理解概念理论知识。

4 参考文献


【1】 数据挖掘概念与技术(364--386) 韩家炜

【2】 数据挖掘:R语言实战(274--292) 黄文、王正林

【3】 统计自然语言处理基础 (166—169) 宛春法等译

【4】 统计学习方法(10---13) 李航

5 自然语言相关系列文章


【自然语言处理:马尔可夫模型(一)】:初识马尔可夫和马尔可夫链

【自然语言处理:马尔可夫模型(二)】:马尔可夫模型与隐马尔可夫模型

【自然语言处理:马尔可夫模型(三)】:向前算法解决隐马尔可夫模型似然度问题

【自然语言处理:马尔可夫模型(四)】:维特比算法解决隐马尔可夫模型解码问题(中文句法标注)

【自然语言处理:马尔可夫模型(五)】:向前向后算法解决隐马尔可夫模型机器学习问题

声明:关于此文各个篇章,本人采取梳理扼要,顺畅通明的写作手法。系统阅读相关书目和资料总结梳理而成,旨在技术分享,知识沉淀。在此感谢原著无私的将其汇聚成书,才得以引荐学习之用。其次,本人水平有限,权作知识理解积累之用,难免主观理解不当,造成读者不便,基于此类情况,望读者留言反馈,便于及时更正。本文原创,转载请注明出处谈谈学习器模型的评估指标。