机器学习&数据挖掘:特征选择之Filter : Focus Approach

时间:2021-09-16 20:05:07

Focus Approach[1]方法是基于穷举搜索的Filter方法,该方法倾向于选择能够区分样本的最小特征子集。Focus Approach特征选择的度量是一致性度量。
通俗来说,特征选择的一致性是:给定两个样本,若它们在特征x1与x2的取值一样但这两个样本不属于同一类别,则特征子集{x1,x2}不是最终要选择的特征子集。
Focus Approach的步骤如图所示:
机器学习&数据挖掘:特征选择之Filter : Focus Approach
可以看出,Focus Approach的终止条件为:如果不存在两个实例在A所包含的features上都一样但却不属于同一类别,那么A就是选择出的特征子集。
Focus Approach对噪声比较敏感,在某些情况下,由于特征选择与最终分类算法是分离的,会导致该方法盲目的只选择最少特征,从而造成最终分类准确率的下降。

[1]Learning With Many Irrelevant Features,Hussein Alm uallim and Thomas G. Dietteric h