当前位置：首页 > article >正文

FinDKG: Dynamic Knowledge Graphs...... 基于大语言模型的动态知识图谱论文笔记

article 2025/2/6 15:18:33

摘要

1.引言

2.相关研究综述（Related Work）

1. 图表示学习（Graph Representation Learning）

2. 金融知识图谱（Financial Knowledge Graphs）

3. 大型语言模型（LLMs）在金融领域的应用

研究贡献

3. 集成上下文知识图谱生成器（ICKG）

ICKG 训练流程

（1）构建微调数据集

（2）数据质量筛选

（3）微调Mistral 7B模型

ICKG 生成流程

3.1融动态知识图谱（FinDKG）数据集

数据采集：

知识图谱构建：

数据集示例：

4. 通过 KGTransformer 进行知识图谱学习

4.1 知识图谱 Transformer（KGTransformer）

4.2 DKGs的时间演化更新

4.1 KGTransformer（这部分公式太多，用通俗易懂的理解代替）

4.1.1动态知识图谱与任务背景

4.1.2模型架构——KGTransformer

4.1.3 预训练与推理流程

总结

4.2Time-evolving updates for DKGs

4.2.1问题和背景

4.2.2两种时间变化表示：时间（temporal）与结构（structural）嵌入

1 Temporal Embeddings（时间嵌入）

2 Structural Embeddings（结构嵌入）

3. 应用场景与建模思路

4. 核心公式总结

5. 总结

4.3动态知识图谱学习

动态知识图谱学习的目标

模型如何捕捉结构信息与时间动态

2.1 结构嵌入（Structural Embeddings）

2.2 时间嵌入（Temporal Embeddings）

3.3 参数学习与损失函数

3.4 链接预测任务

3.5 总结

5 总结

摘要

动态知谱（Dynamic Knowledge Graphs，DKGs）是一种常用的结构，用于表示对象之间随时间变化的多种连接关系。它们还可一种有效的数学工具，来表示从复杂的非结构化数据源（如文本或图像）中提取的信息。在金融应用中Gs 可用于基于从金融新闻文章中获取的信息，检测战略性主题投资的趋势。

在本研究中，讨型语言模型（作为动态知识图谱生成器的特性，提出了一种新的开源微调 LLM，称为集成上下文知识图谱生成器（Integrated Contextual Knowledge Graph Generator，ICKG）。我们使用 ICKG 从闻文章语料库中生成了一个新的开源 DKG，称为 FinDKG，并提出了一种基于注意力机制的图神经网络架构来分析它，称为 KGTransformer。

我们在基准数据集和 FK上测试了所提出模型的性能，在链接预测任务中表现出优越的性能。此外，我们评估了 KGTransmer 在 FinDKG 上的主题投资表现，显示其能够超越现有的主题交易型开放式指数基金（ETFs）。

关键词

动态知识图谱、力网络、图神经网络、图转换器、大型语言模型。

1.引言

知识图谱（Knowledge Graph，KG）是一种数据结构，用于编码实体及其之间的多种关系。形式上，KG 表示为 G = {E, R, F}，其中：

E：实体集合（Entities）
R：关系集合（Relations）
F：事实集合（Facts），F ⊆ E × R × E，表示实体之间的各种关系

KG 的基本构建单元是三元组 (s, r, o) ∈ F，其中：

s：源实体（Source Entity），s ∈ E
r：关系（Relation），r ∈ R
o：目标实体（Object Entity），o ∈ E

例如，三元组 (OpenAI, 发明, ChatGPT) 表示一个事实，其中 OpenAI 和 ChatGPT 是实体，“发明”是它们之间的关系。

动态知识图谱（Dynamic Knowledge Graph，DKG）通过引入时间动态，扩展了静态 KG。在 DKG 中，每个事实都与一个时间戳 t ∈ R⁺ 相关联，从而使模型能够捕捉事件的时间演变。因此，事件以四元组 (si, ri, oi, ti) ∈ E × R × E × R⁺ 的形式表示，其中 ti 是事件发生的时间，且对于 i < j，ti ≤ tj，i, j ∈ N。

在时间 t，DKG Gt = (E, R, Ft) 可以表示为一组随时间变化的事实 Ft，定义为：

Ft = {(si, ri, oi, ti) : si, oi ∈ E, ri ∈ R, ti < t}

这意味着，Ft 包含了所有在时间 t 之前发生的事实。

动态知识图谱学习

从观测数据中为 Gₜ 建立模型的任务被称为动态知识图谱学习。通常涉及图神经网络（GNN）的数据驱动训练，旨在模拟知识图谱随时间的结构和时间动态。
元实体的引入

金融等实际应用中，实体和关系可以进一步分组为类别，通常称为元实体（meta-entities）。如，实体 Jeff Bezos 属于“人”类型，实体 Amazon 属于“公司”类型，它们之间的关系是“创始人”，该关系可视为“商业行为”类型。异构图转换器（HGT）的启发，我们讨论了一种在基于图注意力网络（GAT）和 EvoKG 的动态知识图谱学习过程中引入元实体信息的方法。导致了知识图谱转换器（KGTransformer）的提出，这是一种基于注意力机制的图神经网络，旨在为实体和关系创建动态的低维表示。
大型语言模型的应用

除了 DKG，近年来大型语言模型（LLM）在金融领域也越来越受欢迎，展示了通过先进的自然语言处理（NLP）能力增强各种金融任务的潜力。行的模型如 BERT、GPT 系列，以及金融特定的变体如 FinBERT 和 FinGPT，利用 LLM 改进了金融情绪分析等任务的最新技术。
生成式知识图谱构建

目前，LLM 在动态知识图谱中的应用在文献中仍然有限。此，本研究的主要贡献之一是提出一种通过 LLM 进行生成式知识图谱构建的流程，称为集成上下文知识图谱生成器（ICKG）。们开发了一个微调的 LLM，通过设计的输入查询或“提示”，系统地从文本数据中提取实体和关系，随后将它们组装成事件四元组。们使用 ICKG 生成了一个开源的金融知识图谱数据集，称为 FinDKG。
主要贡献

总而言之，我们的贡献有三点：

KGTransformer：们提出了一种基于注意力机制的 GNN 架构，用于动态知识图谱学习，包含关于元实体的信息，结合了 GAT、HGT 和 EvoKG 的现有工作。们在真实世界的 DKG 上测试了所提出模型的性能，在链接预测任务中表现出优越的性能。
ICKG：们开发了一个用于金融领域的动态知识图谱生成的开源 LLM，称为集成上下文知识图谱生成器（ICKG）。
FinDKG：们利用 ICKG 创建了一个基于金融新闻文章的开源动态知识图谱，称为 FinDKG。inDKG 被用于主题投资，显示其能够超越现有的主题交易型开放式指数基金（ETF）。
望以上整理能帮助您更好地理解这篇论文的引言部分。