知识图谱与 NLP 的融合

第 30 章 · 知识图谱

知识图谱与自然语言处理正在深度交织：预训练语言模型不再只「读字」，而是与 KG 结合——通过注入、对齐与联合推理，让模型既懂文本又懂结构知识；信息抽取流水线里，KG 既是先验与约束，又是抽取结果的归宿；文本与图更走向多模态表示，在同一空间里融合字、词、实体与关系。本章把这三条主线讲清楚。

一、预训练模型与知识图谱的联合

注入（Injection）：把 KG 中的实体、关系或三元组编码进预训练表示。常见做法包括：在词表或表示层加入实体/关系嵌入、用图神经网络对 KG 编码后与 Transformer 隐状态融合、或在预训练目标中增加「预测实体/关系」等任务。目标是让模型在理解文本时「看见」结构化知识。

对齐（Alignment）：将文本中的 span（词、短语、命名实体）与 KG 中的实体或关系对齐。对齐可用于实体链接、关系抽取的监督、或检索增强（RAG）时从 KG 取上下文。预训练模型与 KG 的联合表示常依赖对齐数据（如文本–实体对、问答对）做微调。

联合推理（Joint Reasoning）：在问答、推理等任务中同时利用文本与图。例如：先由模型从文本生成候选实体或路径，再在 KG 上做检索或推理，最后融合两种信号得到答案；或使用统一的图+序列模型，在同一个前向过程中完成文本理解与图上的多跳推理。

Injection

Encode entities/relations into pretrained representations; GNN + Transformer; entity/relation prediction objectives.

Alignment

Align text spans to KG entities/relations; entity linking; supervision for RE; RAG context from KG.

Joint reasoning

QA and reasoning over text + graph; candidate generation then KG retrieval; unified graph–sequence models.

预训练模型与 KG：注入、对齐、联合推理

二、信息抽取流水线中的知识图谱

信息抽取（IE）包含命名实体识别（NER）、关系抽取（RE）、实体链接（EL）等步骤，与 KG 形成闭环：KG 作为先验——实体表、关系 schema、或已有三元组可约束或引导抽取；KG 作为输出——抽取出的实体与关系经融合、对齐后写回 KG，用于检索、问答与迭代抽取。

流水线设计上，常见做法有：先用 NER 得到 span，再用 EL 将 span 链接到 KG 实体（或新实体），然后做 RE 预测关系类型；或采用联合模型（如端到端 NER+RE、或序列到图）一次性输出 (主体, 关系, 客体)。KG 可提供实体类型约束、关系类型候选、以及负例与远程监督信号。

在领域适配时，小规模领域 KG 或本体常与通用预训练模型结合：用领域实体/关系扩展词表或设计专门模块，用领域标注或远程监督微调，使流水线既利用预训练能力又贴合领域 schema。

信息抽取流水线中的 KG：先验与写回闭环

IE 与 KG 闭环

KG provides prior: entity set, relation types, existing triples. IE outputs feed KG: after fusion and alignment, new triples are written back. Domain KG/ontology + pretrained LM is a common recipe for domain IE.

三、文本与图的多模态表示

统一表示空间：让文本片段（词、句、文档）与图中的节点（实体、关系或子图）映射到同一向量空间，从而支持跨模态检索（用文本查图、用图查文本）、相似度计算与融合表示。常用方法包括：双塔编码器（文本编码器 + 图编码器）、对比学习（文本–实体对、句子–子图对）、以及多任务训练（检索、链接、QA 等）。

图增强的文本表示：在编码文本时显式利用 KG 上下文。例如：先识别文本中的实体并链接到 KG，再取实体的邻居或子图，用 GNN 编码后与文本表示融合；或直接在注意力中引入「实体—词」或「关系—词」的交互。适用于需要常识或领域知识的理解与生成任务。

文本增强的图表示：用文本丰富图节点或边的表示。例如：实体不仅用 ID 或结构嵌入，还加上其描述、别名或相关句子的编码；关系也可用自然语言描述编码。这样图上的推理与检索能利用语言语义，对零样本关系、长尾实体更友好。

多模态融合架构上，可选用「早期融合」（文本与图在输入或浅层合并）、「晚期融合」（分别编码再在表示层或决策层融合）、或「层次融合」（多层级交互）。选择取决于数据规模、任务与算力。

文本与图的多模态表示：统一空间、图增强文本、文本增强图、融合策略

一句话： 预训练模型与 KG通过注入、对齐、联合推理结合：注入把实体/关系编码进 LM；对齐连接文本 span 与 KG；联合推理在 QA 等任务上同时用文本与图。信息抽取流水线中 KG 既为先验（类型、schema、远程监督）又为输出（写回新三元组），形成闭环。文本与图的多模态表示：统一表示空间支持跨模态检索；图增强文本（实体链接+子图融合）、文本增强图（描述与别名）；早期/晚期/层次融合按任务与资源选择。

实践： 选一个公开 QA 数据集（如 WebQSP、ComplexWebQuestions）或自建小样本，尝试「文本 only」与「文本 + KG 子图」两种输入，比较答案准确率或首条命中率；或在一个 NER/RE 流水线中显式加入「从现有 KG 取实体/关系候选」的步骤，观察召回与精度变化。

四、小结

知识图谱与 NLP 的融合体现在：预训练模型与 KG 的注入、对齐与联合推理；信息抽取流水线中 KG 作为先验与写回闭环；文本与图的多模态表示——统一空间、图增强文本、文本增强图与融合策略。下一章讲大规模知识图谱系统架构：十亿级三元组的存储与查询、批处理与增量更新、图计算与图学习平台、高可用与运维。