一、简介
情感分析，有时也称为观点挖掘，是NLP领域一个非常重要的一个分支，它主要分析评论、文章、报道等的情感倾向，掌握或了解人们这些情感倾向非常重要。这些倾向对我们处理后续很多事情都有指定或借鉴作用
在NLP中，首先需要把文本或单词等转换为数值格式，为后续机器学习或深度学习使用，把文本或单词转换为数值，有几种模型，如词袋模型（bag of words或简称为BOW）、word2vec等
下面实例讲解一下BOW模型：
a）BOW的假设前提
BOW模型假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合，文档中每个单词的出现都是独立的，不依赖于其它单词是否出现
也就是说，文档中任意一个位置出现的任何单词，都不受该文档语意影响而独立存在
b）TF-IDF
假设有三个文档：
1、The sun is shining
2、The weather is sweet
3、The sun is shining and the the weather is sweet
基于这三个文本文档（为简便这里以一个句子代表一个文档），构造一个词典或词汇库。如果构建词典？首先，看出现哪些单词，然后，给每个单词编号。
在这三个文档中，共出现7个单词（不区分大小写），分别是：the，is ，sun，shining，and，weather，sweet
然后，我们把这7个单词给予编号，从0开始，从而得到一个单词vs序号的字典：{\'and\':0,\'is\':1,\'shining\':2,\'sun\':3,\'sweet\':4,\'the\':5,\'weather\':6}
现在根据这个字典，把以上三个文档转换为特征向量(在对应序列号中是否有对应单词及出现的频率)：
第一句可转换为：[0 1 1 1 0 1 0]
第二句可转换为：[0 1 0 0 1 1 1]
第三句可转换为：[1 2 1 1 1 2 1]
0表示字典中对应单词在文档中未出现，1表示对应单词在文档出现一次，2表示出现2次，也就是tf(t,d)表示单词t在文档d出现的次数
如果有几个文档，而且有些单词在每个文档中出现的频度都较高，这种频繁出现的单词往往不含有用或特别的信息，在向量中如何降低这些单词的权重？这里我们可以采用逆文档频率（inverse document frequency，idf）技术来处理
原始词频结合逆文档频率，称为词频-逆文档词频（term frequency - inverse document frequency，简称为tf-idf），那么tf-idf如何计算呢？计算公式如：\(tf-idf(t,d)=tf(t,d)*idf(t,d)\)
其中：\(idf(t,d)=log(n_d/(1+df(d,t)))\)，\(n_d\)表示总文档数（这里总文档数为3），\(df（d,t）\)为文档d中的单词t涉及的文档数量
取对数是为了保证文档中出现频率较低的单词被赋予较大的权重，分母中的加1是为了防止\(df（d,t）\)为零的情况。有些模型中也会在分子加上1，分子变为\(1+n_d\)
如我们看单词the在第一个句子或第一个文档（d1来表示）中的\(tf-idf（t,d）\)的值：\(tf-idf(\'the\',d1) = tf(\'the\',d1) * idf(\'the\',d1) = 1 * log3/(1+3) = 1 * log0.75 = log0.75\)
这些计算都有现成的公式，以下我们以Scikit-learn中公式或库来计算
from sklearn.feature_extraction.text import CountVectorizer count = CountVectorizer() docs = np.array( [\'The sun is shining\', \'The weather is sweet\', \'The sun is shining and the weather is sweet\']) bag = count.fit_transform(docs) print(count.vocabulary_)
先导入countVectorizer库，然后实例化对象count，转换成字典：
然后文档向量化，结果和我们在前面讲的文档的向量化结果一样：
print(bag.toarray())
进而我们求出文档的tf-idf：
from sklearn.feature_extraction.text import TfidfTransformer tfidf = TfidfTransformer() np.set_printoptions(precision=2) print(tfidf.fit_transform(bag).toarray())
说明：sklearn计算tf-idf时，还进行了归一化处理，其中TfidfTransformer缺省使用L2范数
我们按照sklearn的计算方式,即\(tf-idf(t,d) = tf(t,d) * ( log[(1+n_d) / (1+df(d,t)] + 1 ) \)，不难验证以上结果，以第一语句为例：
第一个元素下标是0，即and词频是0，所以tf-idf值是0
第二个元素下标是1，即is词频是1，idf为：1+3 = 4，然后除以（1+涉及的文档数=1+3 = 4），取ln值为0，然后再加1，所以tf-idf值是1
第三个元素下标是2，即shining词频是1，idf为：1+3 = 4，然后除以（1+涉及的文档数=1+2=3），ln(4/3)值为0.287657，然后再加1，所以tf-idf值为1.28
......
第七个元素下标是6，即weather词频是0，所以idf值为0
综上所述：第一个语句（文档）的向量结果： \(v = tf-idf(t,d1)=[0, 1, 1.28, 1.28, 0, 1, 0]\)，各个元素平方和为：\(0 + 1 + 1.28^2 + 1.28^2 + 0 + 1 + 0 = 5.2768\)
\(tf-idf(t,d1)norm = |v|/sqrt(\sum v_i^2) = v/sqrt(5.2768) = v/2.29 = [0, 0.43, 0.56, 0.56, 0, 0.43, 0]\)，这与sklearn计算出来的tf-idf结果一致
二、英文电影评论情感分析实例
1）数据下载
链接：http://ai.stanford.edu/~amaas/data/sentiment，为了防止读者无法打开该链接，故将下载的文件：aclImdb_v1.tar.gz上传到百度云盘，链接：https://pan.baidu.com/s/1AuMyDBuJcZ-KT5AvsdXQig 提取码：6m11
在桌面新建情感分析文件夹，将下载数据解压到情感分析文件夹，情感分析/aclImdb文件夹下有如下文件：
在train和test目录下，各有二级子目录neg和pos目录。其中neg目录存放大量评级负面或消极txt文件，pos存放大量评级为正面或积极的评论txt文件：（train和test目录结构如下）
在情感分析文件夹内按住shift，然后鼠标右键，在此窗口打开命令窗口，输入jupyter notebook，然后新建名为emotion_analysis的脚本文件：
2）数据处理
pyprind是进度条小工具，可能需要读者安装：pip install pyprind
我们把train和test下的neg，pos的评论合并到一块儿，处理数据的过程中用进度条显示进度：
import pandas as pd
import os
import pyprind
pbar = pyprind.ProgBar(50000)
labels = {\'pos\':1, \'neg\':0}
df = pd.DataFrame()
for s in (\'test\', \'train\'):
for l in (\'pos\', \'neg\'):
path = \'./aclImdb/%s/%s\' % (s, l)
for file in os.listdir(path):
with open(os.path.join(path, file), \'r\',encoding=\'UTF-8\') as infile:
txt = infile.read()
df = df.append( [[txt, labels[l]]], ignore_index=True )
pbar.update()
df.columns = [\'review\', \'sentiment\']
可以看出处理时间不足2分钟：
为了让数据产生随机化的效果（sklearn.utils.shuffle），我们打乱数据，然后保存到csv文件：
from sklearn.utils import shuffle df = shuffle(df) df.to_csv(\'./movie_data.csv\', index = False)
重新加载数据，发现label已经被打乱：
df = pd.read_csv(\'./movie_data.csv\') df.head(10)
3）NLTK处理
a）下载停词
import nltk nltk.download(\'stopwords\')
如下显示下载成功
b）对文件进行预处理，过滤停词、删除多余符号等
我们发现文件内容中含有许多下图的thml标签字符，如10011_9.txt文件中：
我们需要将其去掉：
import re s = \'movies of the summer.<br /><br />Robin Williams\' re.sub(\'<[^>]*>\', \'\', s) #\'movies of the summer.Robin Williams\'
^用在中括号中表示非，\W表示非单词字符，比如空格括号等等：
from nltk.corpus import stopwords
import re
stop = stopwords.words(\'english\')
def tokenizer(text):
text = re.sub(\'<[^>]*>\', \'\', text)
text=re.sub( \'[\W]+\',\' \',text.lower() )
tokenized=[w for w in text.split() if w not in stop]
return tokenized
上面使用\W，去掉了非单词字符
c）定义一个生成器函数，从csv文件中读取文档
def stream_docs(path):
with open(path, \'r\', encoding=\'UTF-8\') as csv:
next(csv)#skip header
for line in csv:#这里没有分割，并且没有去掉尾部换行符，所以下标-1代表换行符，-2就是标签，-3就是逗号
text, label = line[:-3], int(line[-2])
yield text, label
来看看movie_data.csv文件：
关于生成器函数：生成一个 iterable 对象，目的节省内存，下面我们来看看示例：
doc_stream = stream_docs(path=\'./movie_data.csv\') text, label = next(doc_stream) print(text, label) #再获取一个元素 text, label = next(doc_stream) print(text, label)
代码示例，通过next()函数获取可迭代对象元素值：
通过上面的小例子展示函数生成器返回一个 iterable 对象，如上面的doc_stream就是一个 iterable 对象
d）定义一个每次获取的小批量数据的函数
def get_minibatch(doc_stream, size):
docs, y = [], []
try:
for _ in range(size):
text, label = next(doc_stream)
docs.append(text)
y.append(label)
except StopIteration:
return None,None
return docs, y
代码示例，我们看看小批量数据函数，我们将size设置为3，读取文件的三行，而doc_stream是一个可迭代对象：
doc_stream = stream_docs(path=\'./movie_data.csv\')
docs, y = get_minibatch(doc_stream, 3)
for i in range(3):
print(docs[i])
print(y[i])
代码示例结果：
e）利用sklearn中的HashingVectorizer进行语句的特征化、向量化等
from sklearn.feature_extraction.text import HashingVectorizer from sklearn.linear_model import SGDClassifier vect = HashingVectorizer( decode_error=\'ignore\', n_features=2**2, preprocessor=None, tokenizer=tokenizer) clf = SGDClassifier(loss=\'log\', random_state=1, n_iter=1) doc_stream = stream_docs(path=\'./movie_data.csv\')
4）训练模型
import pyprind
import numpy as np
import warnings
warnings.filterwarnings(\'ignore\')
pbar = pyprind.ProgBar(45)
classes = np.array([0, 1])
for _ in range(45):
x_train, y_train = get_minibatch(doc_stream, size=1000)
if not x_train:
break
x_train = vect.transform(x_train)
clf.partial_fit(x_train, y_train, classes=classes)
pbar.update()
代码示例结果：
5）评估模型
x_test, y_test = get_minibatch(doc_stream, size=5000) x_test = vect.transform(x_test) print(\'accuracy: %.3f\' % clf.score(x_test, y_test))
代码示例结果：
准确率达到了87%
6）完整代码
#coding=utf-8
import pandas as pd
import os
import pyprind
pbar = pyprind.ProgBar(50000)
#将train和test的pos和neg合并
labels = {\'pos\':1, \'neg\':0}
df = pd.DataFrame()
for s in (\'test\', \'train\'):
for l in (\'pos\', \'neg\'):
path = \'./aclImdb/{}/{}\'.format(s, l)
for file in os.listdir(path):
with open(os.path.join(path, file), \'r\',encoding=\'UTF-8\') as infile:
txt = infile.read()
df = df.append( [ [txt, labels[l]] ], ignore_index=True )
pbar.update()
df.columns = [\'review\', \'sentiment\']
from sklearn.utils import shuffle
df = shuffle(df)
df.to_csv(\'./movie_data.csv\', index = False)
df = pd.read_csv(\'./movie_data.csv\')
print(\'df_to_csv done!\')
#预处理
import nltk
nltk.download(\'stopwords\')
from nltk.corpus import stopwords
import re
stop = stopwords.words(\'english\')
def tokenizer(text):
text=re.sub(\'<[^>]*>\',\'\',text)
emoticons=re.findall(\'(?::|;|=)(?:-)?(?:</span>|<spanclass="es0">|D|P)\',text.lower())
text=re.sub(\'[\W]+\',\' \',text.lower())+\' \'.join(emoticons).replace(\'-\',\'\')
tokenized=[w for w in text.split() if w not in stop]
return tokenized
def stream_docs(path):
with open(path, \'r\', encoding=\'UTF-8\') as csv:
next(csv)#skip header
for line in csv:#这里没有分割，并且没有去掉尾部换行符，所以下标-1代表换行符，-2就是标签，-3就是逗号
text, label = line[:-3], int(line[-2])
yield text, label
def get_minibatch(doc_stream, size):
docs, y = [], []
try:
for _ in range(size):
text, label = next(doc_stream)
docs.append(text)
y.append(label)
except StopIteration:
return None,None
return docs, y
from sklearn.feature_extraction.text import HashingVectorizer
from sklearn.linear_model import SGDClassifier
vect = HashingVectorizer( decode_error=\'ignore\', n_features=2**21, preprocessor=None, tokenizer=tokenizer)
clf = SGDClassifier(loss=\'log\', random_state=1, n_iter=1)
doc_stream = stream_docs(path=\'./movie_data.csv\')
import pyprind
import numpy as np
import warnings
warnings.filterwarnings(\'ignore\')
pbar = pyprind.ProgBar(45)
classes = np.array([0, 1])
for _ in range(45):
x_train, y_train = get_minibatch(doc_stream, size=1000)
if not x_train:
break
x_train = vect.transform(x_train)
clf.partial_fit(x_train, y_train, classes=classes)
pbar.update()
x_test, y_test = get_minibatch(doc_stream, size=5000)
x_test = vect.transform(x_test)
print(\'accuracy: %.3f\' % clf.score(x_test, y_test))
三、致谢
本文参考：http://www.feiguyunai.com/index.php/2017/10/20/pythonai-nlp-emotionanaly01/
感谢作者的分享，另外本人已经将代码上传百度云盘， 提取码：iyi5