本人小白一枚，专业统计，之前做过质量工程，现转行将近一年，开始记录我的学习过程及踩过的坑。
第一篇：用贝叶斯分类器（本文使用NLTK中的NaiveBayesClassifier）将5000多个样本进行分类，判断是否属于脑科学，样本存储为excel格式，选取特征值分类号前四位及摘要（先结巴分词）按频率计数。
首先要搞清楚做这个分类模型的思路：
读取文本—清洗文本—获取特征词列表—定义特征提取器—构造特征集—朴素贝叶斯分类器—评价结果
在做这个分类器之前我对贝叶斯分类器不太了解，所以遇到很多问题，最重要的问题就是分类器的传入参数，因为他有固定的参数形式，否则就会报错，参数形式如下：
[
({"特征1":value1,"特征2":value2..."特征n":valuen},label),
({"特征1":value1,"特征2":特征2..."特征n":valuen},label),
...
]
这是一个三层复合结构，首先它是一个list，第二层是一个元组，最里面是一个字典
把这个问题搞清楚了其他问题就好办了。
1. 读取数据
path=os.getcwd()+'\\data_checked.xlsx'
df_data = pd.read_excel(path)
dataSetNP = np.array(df_data)
NP_row=len(dataSetNP)
在这里我使用的是pandas 和numpy将数据化为多维数组进行读取，
每一行用dataSetNP[i]，每一列用dataSetNP[：][j]
2.取特征值
取ipc前四位不重复
Content_IPC_Num =set([j[:4] for j in [w for w in dataSetNP[:,1]]])
摘要分词，原来用停词表做的代码比较冗余
# 获取高频词列表--特征1
def abstract_fre_list(abst):
content_abst_allwords=[x.word for x in psg.cut(abst) if not re.findall(r'm|mq|q|qv|qt', x.flag)]
with open("stopwords.txt", encoding='utf-8') as f:
stopwords = f.read()
content_abst_cleanwords=[w for w in content_abst_allwords if w not in stopwords]
content_abst_freword=nltk.FreqDist(content_abst_cleanwords)
content_abst_freword = content_abst_freword.most_common(2000)
feature_abst_list=[w[0] for w in content_abst_freword]
return feature_abst_list Content_abst_words=abstract_fre_list(get_data(3))#高频词列表
可以改进一下变成如下形式：
with open("stopwords.txt", encoding='utf-8') as f:
stopwords = f.read()
sbste=str([j for j in dataSetNP[: ,3]])
allwords_stop=[x.word for x in psg.cut(sbste) if not re.findall(r'm|mq|q|qv|qt', x.flag)]
word_all=nltk.FreqDist(reduce(lambda x,y:x+y,allwords_stop))
Content_abst_words2=[i[0] for i in word_all.most_common(2000)if i[0] not in stopwords]
3.构造特征提取器
def gender_features(IPC,abstract):
features={}
for IPC_num in range(len(Content_IPC_Num)):
features["IPC_has({})".format(Content_IPC_Num[IPC_num])]=(Content_IPC_Num[IPC_num] in IPC)
for abstract_num in range(len(Content_abst_words)):
features["abstract_has({})".format(Content_abst_words[abstract_num])]=(Content_abst_words[abstract_num] in abstract)
return features
4.构造特征集
# 构造特征集
size = int(NP_row * 0.1)
features_apply= []
for i,apply_class in enumerate(list(dataSetNP[:, 8])):
features_apply.append((gender_features(dataSetNP[:, 1][i] ,dataSetNP[:, 3][i]), apply_class))
random.shuffle(features_apply)
test_set_apply,train_set_apply = features_apply[:size], features_apply[size:] features_tech = []
for w,tech_class in enumerate(list(dataSetNP[:, 9])):
features_tech.append((gender_features(dataSetNP[:, 1][w], dataSetNP[:, 3][w]), tech_class))
random.shuffle(features_tech)
test_set_tech,train_set_tech = features_tech[:size],features_tech[size:]
5.贝叶斯分类器
classifier_apply = nltk.NaiveBayesClassifier.train(train_set_apply)
classifier_tech = nltk.NaiveBayesClassifier.train(train_set_tech)
6.评价
#精确度-召回率-分类准确率分数
predict_test_apply=[]#预测值
predict_test_tech=[]
for i in range(size):
predict_apply=classifier_apply.classify(gender_features(dataSetNP[:,1][i],dataSetNP[:,3][i]))
predict_tech = classifier_tech.classify(gender_features(dataSetNP[:,1][i],dataSetNP[:,3][i]))
predict_test_apply.append(predict_apply)
predict_test_tech.append(predict_tech)
actual_test_apply=list(dataSetNP[:,8][:size])#真实值
actual_test_tech=list(dataSetNP[:,9][:size])
'''或者预测值+真实值
predict_test_apply2 = [classifier_apply[app[0]] for app in test_set_apply]
predict_test_tech2 = [classifier_tech[tech[0]] for tech in test_set_tech]
actual_test_apply2 = [i[1] for i in test_set_apply]
actual_test_tech2 = [i[1] for i in test_set_tech]'''
def evaluate(Y_actual,Y_pre):
brain_sci_precison = metrics.precision_score(Y_actual, Y_pre, average='macro')
brain_sci_recall = metrics.recall_score(Y_actual, Y_pre, average='macro')
brain_sci_accuracy = metrics.accuracy_score(Y_actual, Y_pre, normalize=True)
return brain_sci_precison, brain_sci_recall,brain_sci_accuracy
evaluate_apply=evaluate(actual_test_apply,predict_test_apply)
evaluate_tech = evaluate(actual_test_tech,predict_test_tech)
print("应用-精确度、召回率、分类准确率分数分别为 {}".format(evaluate_apply))
print("技术-精确度、召回率、分类准确率分数分别为 {}".format(evaluate_tech)) 结果：