00346 HippoRAG 2 (论文学习笔记)

前言

The Ohio State University HippoRAG 2论文的学习笔记。

Operating System: Ubuntu 22.04.4 LTS

信息

论文题目：From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

发表年份：2025

论文地址：https://arxiv.org/abs/2502.14802

pdf 地址：https://arxiv.org/pdf/2502.14802

个人学习笔记：

1. https://github.com/yanfeng98/paper-is-all-you-need/blob/main/papers/00072-HippoRAG2.pdf
2. https://cdn.jsdelivr.net/gh/yanfeng98/paper-is-all-you-need/papers/00072-HippoRAG2.pdf

内容

摘要

我们不断获取、组织和利用知识的能力是人类智能的一个关键特征，人工智能系统必须接近这一特征才能释放其全部潜力。考虑到使用大型语言模型（LLM）进行持续学习的时间长度，检索增强生成（RAG）已成为引入新信息的主要方式。然而，它对向量检索的依赖阻碍了它模仿人类长期记忆动态和相互关联性质的能力。最近的RAG方法用各种结构（如知识图）增强向量嵌入，以解决其中的一些差距，即意义制造和关联性。

然而，他们在更基本的事实记忆任务上的表现大大低于标准RAG。我们解决了这个意想不到的问题，并提出了HippoRAG 2，这是一个框架作品，在事实、意义制造和联想记忆任务上全面优于标准RAG。HippoRAG 2建立在HippoRAG中使用的个性化PageRank算法的基础上，并通过更深层次的通道集成和更有效的LLM在线使用来增强它。这种组合使这种RAG系统更接近人类长期记忆的有效性，在联想记忆任务方面比最先进的嵌入模型提高了7%，同时还表现出卓越的事实知识和意义制造记忆能力。

这项工作为LLM的非参数持续学习铺平了道路。我们的代码和数据将在 https://github.com/OSU-NLP-Group/HippoRAG 发布。

结语

第三百四十六篇博文写完，开心！！！！

今天，也是充满希望的一天。