背景
论文速递丨Neurocomputing:基于主题图的长文档问答检索
2025-12-26 16:59 HITSZ-HLT    (浏览量)

论文信息:

Shiwei Chen, Bin Liang, Yue Yu, Kam-Fai Wong, Hui Wang, Ruifeng Xu*. Retrieving on a Topic Graph for Long Document Question Answering. Neurocomputing. 2026. vol 669, 132447

doi: 10.1016/j.neucom.2025.132447

https://www.sciencedirect.com/science/article/pii/S0925231225031194




1

动机


长文档问答(LDQA)中,LLM直接整篇喂入成本高且容易丢失关键信息(Lost-in-the-Middle)。传统RAG虽然能检索,但常把检索预算浪费在近重复片段上,同时把互相关联的证据打散到超长的提示里,导致影响推理连贯性。认知语言学的工作记忆理论启发我们:人类阅读更像是维持少量主题块(Topic Chunks,需要时再激活细节,而不是在密集的句子级图里逐边搜索。基于此我们提出Topic Graph Retrieval Augmented Generation (TGRAG),总体框架如图所示。


图片


TGRAG总体框架




2

方法


TGRAG的核心是主题单元 + 稀疏主题图 + 一步扩散激活的结构化检索,下面的算法总结了其主要步骤。第一步,主题抽取(Topic Extraction):将文档切成句子级单元,并用LLM为每句分配高层主题标签,同时为query抽取query topic(实现中用 GPT-4o 作为主题标注器,并给出对应提示模板)。第二步,建图(Topic Graph Construction):把句子作为节点,依据共享主题 + 语义相似建立边并剪枝,得到稀疏、query-anchored topic graph(近似粗粒度主题骨架)。第三步,图引导检索(Activation–Diffusion Retrieval):将结构扩散信号与语义相似信号线性融合,选 top-K 句子作为候选证据,再用 cross-encoder 精排取 top-L 组成最终上下文,发送给LLM生成答案。

图片

TGRAG算法描述




3

实验


我们在NarrativeQA/HotpotQA/MuSiQue三个LDQA数据集上对TGRAG进行了评测,下表总结了这些数据集的基本数据。

图片

数据集基本信息

采用LLM-as-a-Judge的双标尺评分(LR-1严格、LR-2宽松),分别对比了retrieval-only、长上下文LLM变体、以及结构化检索/GraphRAG类方法。可以发现TGRAG在三个数据集、两种评分下均为最优。

图片

总体性能实验结果

NarrativeQA上的消融分析也显示,去掉主题抽取、去掉激活扩散、去掉主题图、或用更简单的点乘重排都会下降,说明TGRAG的各模块均有贡献。

图片

消融实验结果

在对TGRAG的进一步探索分析中,我们发现,在这个框架下:主题节点数k增加带来收益,但在k≈7 后趋于饱和;图稀疏度(边阈值τ)需要在覆盖噪声/上下文长度间折中,默认τ=0.15 附近效果最好。




4

结论


TGRAG主题抽取+稀疏主题图+激活扩散检索的方式,把长文档证据组织成更符合主题块的结构,再配合cross-encoder精排,把有限检索预算集中在更连贯、互补的证据上,从而更好地支持了长文档问答生成。


初审:王冰冰

复审:王   丹
终审:徐睿峰




打印    收藏
关闭窗口

Return Top