人工智能自然语言处理—PageRank算法和TextRank算法详解

人工智能自然语言处理—PageRank算法和TextRank算法详解

一、PageRank算法

PageRank算法最初被用作互联网页面重要性的计算方法。它由佩奇和布林于1996年提出，并被用于谷歌搜索引擎的页面排名。事实上，PageRank可以在任何有向图上定义，然后应用于社会影响分析、文本摘要和其他问题。 PageRank算法的基本思想是在有向图上定义一个随机游动模型，即一阶马尔可夫链，以描述随机游动者沿着有向图随机访问每个节点的行为。在某些条件下，在极限情况下访问每个节点的概率收敛到一个平稳分布，然后每个节点的平稳概率值就是它的PageRank值，它表示节点的重要性。PageRank是递归定义的，PageRank的计算可以通过迭代算法进行。

算法公式如下：

原理如下图

PageRank算法的核心思想如下：

（1）链接数量：如果一个网页被越多的其他网页链接，说明这个网页越重要，即该网页的PR值（PageRank值）会相对较高；

（2）链接质量：如果一个网页被一个越高权值的网页链接，也能表明这个网页越重要，即一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高。

代码实例：

import numpy as np
p = 0.85    #引入浏览当前网页的概率为p,假设p=0.8
 
a = np.array([[1,0,0,0],
              [0,0,0,1],
              [0,0,0,1],
              [0,1,0,0]],dtype = float)  #dtype指定为float
length=a.shape[1]  #网页数量
#构造转移矩阵
b = np.transpose(a)  #b为a的转置矩阵
m = np.zeros((a.shape),dtype = float)
for i in range(a.shape[0]):
    for j in range(a.shape[1]):
        #如果一个节点没有任何出链，Dead Ends
        if b[j].sum()==0:
            b[j]=b[j]+np.array([1/length]*length)
          
        m[i][j] = a[i][j] / (b[j].sum())  #完成初始化分配
 
#pr值得初始化
v = np.zeros((m.shape[0],1),dtype = float)  #构造一个存放pr值得矩阵
for i in range(m.shape[0]):
    v[i] = float(1)/m.shape[0]
 
count=0
ee=np.array([[1/length]*length]).reshape(length,-1)
# 循环100次计算pageRank值
for i in range(100):
    #  解决spider traps问题，spider traps会导致网站权重向一个节点偏移，将转移矩阵加上打开其他网页的概率1-p
    v = p*np.dot(m,v) + (1-p)*ee  
    count+=1
    print("第{}次迭代".format(count))
#pageRank值
print(v)

二、TextRank算法

TextRank算法是一种基于图的文本排序算法。它将文本分成几个组成单元（句子），构建节点连接图，使用句子之间的相似度作为边的权重，通过循环迭代计算句子的TextRank值，最后提取排名较高的句子，形成文本摘要。本文介绍了提取文本摘要的算法TextRank，并使用Python实现了TextRank算法的应用，从多个单域文本数据中提取句子以形成摘要。

TextRank算法的代码实例：

它是从Google的PageRank算法改进而来的，用于对网页的重要性进行排序。它使用文档中单词之间的共现信息（语义）来提取关键字。它可以从给定文本中提取关键词和关键短语，并使用提取自动摘要方法提取文本的关键句子。

# coding=utf-8
from textrank4zh import TextRank4Keyword, TextRank4Sentence
import jieba.analyse
from snownlp import SnowNLP
import pandas as pd
import numpy as np
 
#关键词抽取
def keywords_extraction(text):
    tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])
    # allow_speech_tags   --词性列表，用于过滤某些词性的词
    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
                 pagerank_config={'alpha': 0.85, })
    keywords = tr4w.get_keywords(num=6, word_min_len=2)
    # num           --  返回关键词数量
    # word_min_len  --  词的最小长度，默认值为1
    return keywords
 
#关键短语抽取
def keyphrases_extraction(text):
    tr4w = TextRank4Keyword()
    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
                 pagerank_config={'alpha': 0.85, })
    keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)
    # keywords_num    --  抽取的关键词数量
    # min_occur_num   --  关键短语在文中的最少出现次数
    return keyphrases
 
#关键句抽取
def keysentences_extraction(text):
    tr4s = TextRank4Sentence()
    tr4s.analyze(text, lower=True, source='all_filters')
    keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)
    return keysentences
 
 
def keywords_textrank(text):
    keywords = jieba.analyse.textrank(text, topK=6)
    return keywords
 
 
if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"
    #关键词抽取
    keywords=keywords_extraction(text)
    print(keywords)
 
    #关键短语抽取
    keyphrases=keyphrases_extraction(text)
    print(keyphrases)
 
    #关键句抽取
    keysentences=keysentences_extraction(text)
    print(keysentences)

部分代码解释如下：

text -- 文本内容，字符串

window -- 窗口大小，int，用来构造单词之间的边。默认值为2

lower -- 是否将英文文本转换为小写，默认值为False

vertex_source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点

默认值为'all_filters'，可选值为`'no_filter', 'no_stop_words', 'all_filters'

edge_source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边

默认值为'no_stop_words'，可选值为'no_filter', 'no_stop_words', 'all_filters'。边的构造要结合window参数

pagerank_config -- pagerank算法参数配置，阻尼系数为0.85

lower -- 是否将英文文本转换为小写，默认值为False

source -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。

默认值为'all_filters'，可选值为`'no_filter', 'no_stop_words', 'all_filters'

sim_func -- 指定计算句子相似度的函数

获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要

三、PageRank算法与TextRank算法的区别

• PageRank算法根据网页之间的链接关系构造网络，TextRank算法根据词之间的共现关系构造网络；

  PageRank算法：

  

TextRank算法：

• PageRank算法构造的网络中的边是有向无权边，TextRank算法构造的网络中的边是无向有权边。