【论文阅读】GPT4Graph: Can Large Language Models Understand Graph Structured Data?-图理解基准

时间:2024-01-23 07:44:46

4.1、结构理解任务

(1)图大小检测
 闻如其名,这个任务是来评估LLM是否能够辨别所给图大小的能力,其中大小是指图中存在的结点和边的数量。LLM应该准确地确定这些指标。
 尽管这是对LLM提出的一个挑战,但是结点和边的数量至关重要,它能使LLM能够将相应的信息置于上下文中。
(2)度检测

 这项任务评估LLM有没有能力理解图中结点的上下文相关性。结点的度,是结点重要性和其连接稀疏性的指示器——这是任务的关键。
基于图文本和补充信息,LLM必须弄清楚所给结点的邻居数量。节点的度是各种中心性度量(如度中心性和聚类系数)的基础,强调了任务在理解节点局部结构方面的重要性。

(3)边检测

 基于度检测的基础上,该任务进一步探索了LLM对结点局部结构的理解。模型必须能够识别给定结点的相邻结点,这对于九三距离和识别连接模式等复杂的图挖掘活动至关重要。这项任务的掌握意味着LLM的先进的图形分析所需的基本方面的理解。

(4)属性检索
 此任务测试LLM检索有关节点的相关详细信息的能力,例如节点的属性,这些属性在定义其特征时起着关键作用。例如,LLM可能需要检索特定属性,如论文标题或作者性别。这项任务的成功突出了LLM理解和检索基本节点相关信息的能力。
(5)直径计算
 这个任务要求LLM计算图的直径。直径是任何两个节点之间最长的最短路径,它为图的整体连通性和可达性提供了有价值的见解。直径的成功计算展示了LLM对图的结构的把握及其分析图的总体特征的能力。
(6)聚类系数计算
 在这个任务中,LLM需要计算图的聚类系数,这是一个衡量图中节点聚集在一起的程度的指标。因此,该任务提供了一种评估LLM对本地连接模式的理解以及它评估图内聚类程度的能力。此外,还测试了LLM的推理能力,因为计算CC有几个步骤

4.1、语义理解任务

(1)知识图谱问题分类
 这个任务衡量LLM在回答与知识图有关的问题方面的熟练程度。知识图将数据组织成结构化格式,体现实体,属性和关系。任务的成功取决于LLM推理和理解底层图形结构以提供准确答案的能力,从而展示其语义理解以及从KG中导航和提取信息的能力。

(2)图查询语言生成。

 该任务测量LLM生成满足用户需求的图查询语言的能力。这些语言,包括GQL和Cypher,允许用户从图形数据库中提取特定的信息。查询响应用户的信息需求,LLM展示了其对用户意图的理解和查询公式的精确性。

(3)结点分类
 该任务要求LLM基于节点的属性或结构特征对图中的节点进行分类。LLM给出了标记的节点示例及其相关类,并且它必须通过应用从标记数据中学习的模式来正确预测未见过节点的类。节点分类的成功展示了LLM从示例中概括并应用其对节点属性和结构的理解来准确分类新节点的能力。

(4)图分类。
 此任务将节点分类的范围扩展到包含整个图。LLM给出了图,每个图都标记有特定的类别或类,并且期望通过使用从标记的示例中学习的模式来准确地对未见过的图进行分类。该任务评估LLM整体理解和应用图的结构和基于属性的特征的能力,从而实现对新图的准确分类。