RapidMiner缺失数据处理——去掉数据大量缺失的变量

时间:2022-02-08 09:46:03

最近做数据挖掘,发现RapidMiner是一款数据清洗、处理和转换的好工具,尤其在数据量不大的情况下。和R语言相比,RapidMiner在数据处理方面要简单直观得多。虽然RapidMiner的功能可能不如R强大。另外,我们也可以在RapidMiner中可以直接利用Java/Groovy来编写程序,对数据进行处理和转换。

现在以 RapidMiner6.0为例,来说明一下如何写一段小程序,去掉那些数据缺失量大于80%的变量。因为数据缺失量超过80%,我们很难补全它们。 

我们可以打开RapidMiner中的Execute Script算子并点击Edit Text属性输入下列Java程序段:

/**
* Carl Wu 吴文旷
* The code will remove these attributes whose missing values are more than 80% of
* the total examples
*
*/
ExampleSet exampleSet = operator.getInput(ExampleSet.class);
Attributes attributes = exampleSet.getAttributes();
List cols_with_missing_values = new ArrayList();
//循环所有列
for (Attribute attribute : exampleSet.getAttributes()) {
String name = attribute.getName();
Attribute sourceAttribute = attributes.get(name);

int totalRecords=0;
int missingRecords=0;
//循序一个变量的所有行,统计缺失值的数量
for (Example example : exampleSet) {
totalRecords=totalRecords+1;
if(example[name]==null || example[name].equals("?")){
missingRecords=missingRecords+1;
}
}

//如果缺失数据量超过80%,将该变量名保存到LIst中
if(missingRecords*1.0/totalRecords>=0.8){
cols_with_missing_values.add(sourceAttribute);
}

}

//从原数据集中移除数据大量缺失的列
for(Attribute name:cols_with_missing_values){
attributes.remove(name);
}

return exampleSet;

这段小程序的运行效果如下图所示。在没有处理之前,我们一共有90个样本,536个属性字段:

RapidMiner缺失数据处理——去掉数据大量缺失的变量

运行小程序处理后,数据字段数减少到234个,缺失值较多的字段都被移除了。

RapidMiner缺失数据处理——去掉数据大量缺失的变量

当然,我们也可以用几乎无所不能的数据分析工具R语言来完成这项任务。具体代码如下:

##### 该函数将移除原始数据(odf)中数据缺失量大于给定比例(missingPercent)的列
##### Author: Carl Wu(吴文旷)
removeMissingCols <- function (odf, missingPercent){
cols <- ncol(odf)
rows <- nrow(odf)
newMaxtrix <- NULL
names_new <- NULL

noMissVals <- 0
for(col in 1:cols){
noMissVals <- 0
for(row in 1:rows){
if(!is.na(odf[row,col])){
noMissVals <- noMissVals +1
}
}
#如果这一列缺失值的比例小于给定的比例,则留下该列
if((rows-noMissVals)/rows <= missingPercent){
newMaxtrix <- cbind(newMaxtrix,odf[,col])
names_new <- c(names_new,names(odf)[col])

}
}

new_data <- as.data.frame(newMaxtrix)
names(new_data) <- names_new
new_data
}

另外,在R语言的DMwR包中有一个函数叫manyNAs,可以移除缺失值大于一定比例的样本。注意这里是样本,而不是数据列。示例代码如下:

#读取原始数据
data_original <- read.table("original_data.csv", header = TRUE, sep = ",")
#下面代码打印出原始数据有123行,41个变量
dim(data_original)
#加载DMwR
library(DMwR)
#列出所有缺失值大于40%(0.4)的样本号
manyNAs(data_original,0.4)
#去掉缺失值大于40%(0.4)的样本,将新的数据训练集赋值到一个新的数据框new_data中
new_data <- data_original[-manyNAs(data_original,0.4),]
#下面代码打印出新数据的维数,新的数据有112行,41个变量。原始数据中的12个样本由于缺失值大于40%而被移除。
dim(new_data)