近年来，大模型在处理复杂任务时展现出强大的推理能力。中国科学技术大学熊辉教授团队与合作者注意到，尽管其在众多实际应用中取得了成功，它们仍存在一些明显的问题：比如知识的滞后性、生成信息的可靠性，以及决策过程的不透明性。
相比之下，作为一种大规模结构化的知识库，知识图谱则可以提供大量的显式和可编辑的现实世界知识的描述，这些特性使得知识图谱能够弥补大模型的缺点。
尽管目前的知识图谱增强大模型范式能够为更全面地融合知识图谱和大模型二者的知识提供机会，但是在面临许多复杂问题时，可能仍然无法正确规划推理路径的探索。
图丨陈力以（来源：陈力以）
日前，在熊辉教授的带领和指导下，陈力以博士和课题组其他成员共同完成了以《图上规划：知识图谱上大语言模型的自我纠正自适应规划》（Plan-on-Graph: Self-Correcting Adaptive Planning of Large Language Model on Knowledge Graphs）为题的相关论文，该论文已被人工智能领域顶级会议神经信息处理系统大会（NeurIPS 2024, the 38th Annual Conference on Neural Information Processing Systems）接收，并公开在预印本网站 arXiv 上 [1]。
中国科学技术大学陈力以博士是第一作者，熊辉教授担任通讯作者。
图丨相关论文（来源：NeurIPS）
克服现有知识图谱增强大模型范式的局限性
为了更深入地理解现有大模型范式的局限性，该团队挑选了一些典型的推理错误的案例，并进行了定量和定性的分析。该课题组通过这些分析发现，现有的知识图谱增强大模型范式的局限性主要在以下几个方面：
探索广度受限。现有范式通常设定固定的探索广度，这导致不能在面对复杂问题时对探索范围调整，使其探索的灵活性和正确性受限。
没有自纠正机制。现有范式中的路径探索是单向的，没有对错误路径进行自我纠正的能力，容易导致推理失败。
大模型“失忆”。在需要满足多个条件的情况下，大模型容易出现“失忆”现象，无法同时满足多个条件的答案。
因此，复杂问题的推理可能严重依赖于自适应探索和错误推理路径的自我纠正。
图丨上图反映了现有的知识图谱增强大模型范式的局限性。以问题“泰勒·斯威夫特哪首歌曾获得过全美音乐奖？”为例，首先，受限于固定的探索宽度，模型只能选取 3 首歌曲，忽略了正确答案《Blank Space》。另外由于探索方向不可逆，即使这 3 首歌都是错误的，模型也不能自己进行修正。到最后一步，模型“失忆”，忽略了问题中的条件“获得过全美音乐奖”，而得出了错误的结论《Love Story》（来源：NeurIPS）
针对上述问题，该团队设计了一种新的自我纠正自适应规划的知识图谱增强大模型范式，称为 Plan-on-Graph（PoG），它能够自适应地规划图上游走的探索范围，并且具备纠正错误推理路径的能力。
通过以下的具体设计，有效缓解了上述问题造成的瓶颈：
自适应探索范围。让大模型能够根据实际情况动态调整探索范围的广度，而不是固定在一个预设的值上。
反思机制。设计一个反思机制，使大模型能够根据已有信息判断是否需要进行纠正，并在哪个步骤进行纠正。
引导和记忆机制。引入引导和记忆机制，帮助大模型记住所有的条件和历史信息，避免在推理过程中遗忘关键信息。
该研究首次将自我纠正机制和自适应知识图谱探索设计到知识图谱增强大模型中，这一新型范式不仅提升了知识图谱与大模型结合的灵活性和准确性，还极大地优化了信息检索和决策制定的效率。
PoG 的自适应自我纠正规划机制
在具体的模型设计上，PoG 首先将问题分解为多个子目标，将其作为规划探索的指导。然后，PoG 会重复自适应地探索推理路径，以访问相关的知识图谱数据，更新记忆以提供动态证据进行反思，并评估是否需要自我纠正推理路径，这一过程会持续进行直到推理出答案。
在 PoG 中，研究人员设计了三种机制以实现自适应的自我纠正规划：
1.Guidance（引导）：为了更好地利用问题中的条件引导自适应探索，他们利用大模型将问题分解为包含条件的子目标，从而有助于灵活地识别与每个条件相关的路径。
2.Memory（记忆）：存储在记忆中的信息提供了历史检索和推理信息以供反思。他们记录并更新子图，为大模型提供所有检索到的实体，以初始化新的探索和自我纠正路径。
记录推理路径，以保留实体之间的关系，供大模型推理并允许路径纠正。此外，还记录子目标状态，使大模型能够识别每个条件的已知信息，并在反思阶段减轻其遗忘。
3.Reflection（反思）：为了确定是否继续或自我纠正当前的推理路径，他们设计了一种反思机制，利用大模型根据记忆中的信息判断是否考虑其他实体进行新的探索，并决定回溯到哪个实体以进行自我纠正。
并且，研究人员选择了一些公开的真实世界知识图谱问答数据集进行实验，以验证 PoG 的有效性和效率。
图丨 PoG 的推算过程。仍然以问题“泰勒·斯威夫特哪首歌曾获得过全美音乐奖？”为例，首先 PoG 将其拆解为 3 个子目标：1. 找到泰勒·斯威夫特的歌曲；2. 找到这些歌曲获得的奖项；3. 找到获得全美音乐奖的歌曲。然后将这些子目标进行路径探索和反思，在不断自我纠正的过程中得出正确答案（来源：NeurIPS）
实验结果表明，PoG 不仅在性能上能够显著提升，还在效率上取得了重大突破，成为了当前最 SOTA（State-of-the-Art）的知识图谱增强大模型的方法。
在性能方面，对于不同的底层大模型，PoG 均大幅超过最先进的基准，可以实现 11.4% 的性能提升。
并且 PoG 还证明，结合知识图谱能够有效提升大模型性能的价值，提升的程度依靠于方法的设计，最多能够提升 201.4%。
在效率方面，相较于之前的范式，PoG 的自适应探索范围减少了不必要的探索，而有效的纠正避免了错误路径的扩展。不仅在时间上能够实现 4 倍的加速，而且能够节约 26.1% 的 Token 资源消耗。
引领多领域智能化升级
PoG 作为一种新型的自我纠正自适应规划范式，通过结合大型语言模型和知识图谱的优势，解决了现有方法中存在的问题，具有广泛的应用前景。
无论是在智能问答系统、推荐系统、自动文本生成、医疗诊断辅助还是法律咨询等领域，PoG 都能够显著提升系统的性能和用户体验，为实际应用带来巨大的价值。
最直接的应用就是智能问答系统，不论是通用的问答还是面向特定领域的问答，都可以使用外部的知识图谱来实现大模型的增强推理。
传统的问答系统往往依赖于预定义的知识库和规则，对于复杂和长尾问题的处理能力有限。
PoG 通过自适应地探索知识图谱中的推理路径，并能够自我纠正错误的推理路径，大大提高了系统的准确性和响应速度。
另一方面，PoG 在推荐系统中也可以实现更加精准和高效的推荐。传统的推荐系统主要依赖于用户的历史行为数据，对于冷启动问题和长尾物品推荐效果不佳。
PoG 通过知识图谱中的丰富信息，为用户提供更加个性化和精准的推荐。
例如，在电商领域，PoG 可以根据用户的购买历史和浏览行为，结合商品的知识图谱信息，推荐与其兴趣和需求高度匹配的商品。
并且，在日常辅助的材料撰写等文本生成应用中，PoG 可以显著提升生成内容的质量和多样性。
传统的文本生成模型往往依赖于预训练的语料库，生成的文本可能存在逻辑不连贯、信息不准确等问题。
PoG 通过自适应地探索知识图谱中的相关信息，可以在生成文本时确保内容的准确性和逻辑性。
此外，PoG 在一些特定的领域中也可以得到应用，比如在医疗诊断辅助中的应用可以显著提高诊断的准确性和效率，在法律咨询领域的应用可以为用户提供更加专业和准确的法律建议。
未来，随着技术的不断发展和完善，PoG 的应用范围也可以进一步扩大，为各行各业的发展提供强有力的支持。
尽管在增强大模型推理能力的研究中取得了一些进展，但这项技术在处理更加复杂的问题时，仍存在一些局限性。
为了进一步提升 PoG 的性能和应用范围，该课题组已经制定了几个后续研究计划：
1. 提升大模型的置信度
目前，大模型在确定所需信息、提取信息所需的步骤数、何时进行动态更新，以及当前信息是否足够等方面仍然缺乏足够的置信度。为了解决这一问题，他们计划在未来的工作中专注于评估大模型的置信度。
2. 提高效率
处理复杂问题通常需要多个步骤，这会增加计算时间和资源消耗。为了提高任务执行的效率，特别是在大模型具有较高置信度的情况下，他们计划设计新的策略来减少不必要的步骤。
3. 处理非标准化查询
对于不太标准化的查询，现有的大模型可能由于自身能力的限制而无法充分理解语义，从而导致效果下降。为了解决这个问题，研究人员将采用最先进的查询重写方法或与用户进行交互来细化具体的查询意图。
他们希望通过这些后续研究，能够进一步提升 PoG 的性能，从而应用在更广泛的场景。
参考资料：
1.https://arxiv.org/html/2410.23875v1
运营/排版：何晨龙
