拓展基于知识图谱引导的多跳金融问答系统：一项研究计划
1.0 引言与研究背景
尽管大语言模型（LLM）的最新进展已展现出巨大潜力，但其在高风险的金融多跳问答（Multi-hop QA）领域的应用，始终受限于一个根本性的检索瓶颈。关键信息往往分散于不同公司、不同年份的财务报告和多个文档章节中，导致传统问答系统因上下文信息嘈杂而性能下降或消耗过多的计算资源。我们关于FinReflectKG - MultiHop的基础性工作通过实证明确指出：与传统的基于文本窗口的检索范式相比，利用知识图谱（KG）引导的精确证据检索，能够从根本上提升模型的性能。
通过将分散的事实结构化地连接起来，知识图谱使模型能够专注于高阶推理，而非在海量文本中艰难地搜寻关联信息。我们前期的研究成果精确地量化了这一优势：
评估指标 知识图谱引导方法 vs. 页面窗口方法
正确性得分 (LLM-Judge Score) 平均提升 ~24%
输入Token利用率 (Input Tokens) 平均减少 ~84.5%
虽然现有研究已证实了该方法的巨大潜力，但仍存在若干关键的研究空白，这些空白不仅限制了当前系统的可靠性，也为我们下一阶段的研究工作指明了方向，并奠定了坚实的基础。
2.0 问题陈述与研究缺口分析
本研究计划的战略重要性在于，在前一阶段研究成果的基础上，系统性地攻克限制当前金融问答系统可靠性、可解释性和可扩展性的核心瓶颈。这些瓶颈是解锁下一代金融智能分析能力所必须克服的障碍。通过深入分析，我们识别出当前研究中存在的三个核心缺口：
1. 评估者偏差与评估框架的局限性 (Evaluator Bias and Framework Limitations): 当前研究在评估模型生成答案的正确性时，主要依赖单一或少数LLM作为“裁判”（LLM-as-a-Judge）。这种方法极易引入模型家族偏见（Model-family Bias），即评估模型的固有偏好会损害评估结果的公正性。例如，使用Qwen家族的模型作为裁判，可能会无意识地偏袒同样由Qwen家族生成的答案。为了确保评估结果的客观性和可靠性，建立一个由更多样化的开源及专有模型组成的、经过严格校准的多元化评估体系已是当务之急。
2. 模型覆盖范围的不足 (Insufficient Model Coverage): 前一阶段的研究主要集中于评估开源大语言模型的性能。然而，对于行业领先的闭源推理系统（如顶尖的商业API模型）在处理复杂金融查询方面的能力，我们尚缺乏系统性的评估数据。这构成了一个重大的知识缺口。若不了解这些最先进模型在同一基准下的表现，我们将无法全面描绘当前技术能力的上限，也无法为行业应用提供最权威的选型依据。
3. 基准数据集的规模与验证深度有限 (Limited Benchmark Scale and Validation Depth): 目前发布的555个问答对子集虽已证明了方法的有效性，但其规模尚不足以全面评估模型在更复杂场景下的鲁棒性。我们的初步研究结果（来源：源文Table 7）表明，**跨年份（inter-year）**查询对现有模型构成了最大的挑战。因此，当前数据集在扩展此类查询的覆盖范围方面尤为不足。要构建一个真正的“黄金标准”验证集，必须大规模扩充数据集，特别是增加需要跨公司比较和跨年份时序推理的查询，并对其进行全面的专家手动审计。
填补这些研究空白，对于推动构建真正值得信赖、可解释且成本高效的新一代金融知识问答系统至关重要，并为我们接下来的研究目标提供了清晰的路线图。
3.0 研究目标
为了系统性地解决上述研究缺口，本研究计划设定了以下三个具体、可衡量的核心研究目标：
* 目标一： 开发一个稳健的、经多重校准的LLM评估框架，通过引入更多样化的开源及专有模型作为评估裁判，以最大限度地减少评估者偏见，提升评估结果的客观性和可信度。
* 目标二： 对领先的闭源推理系统在FinReflectKG - MultiHop基准上的性能进行系统性的比较评估，以全面了解当前最先进技术在处理复杂金融推理任务时的真实能力、优势与局限。
* 目标三： 大规模扩展FinReflectKG - MultiHop基准数据集，重点增加跨公司比较和跨年份时序推理的复杂查询，并完成全面的专家手动审计，以构建一个规模更大、质量更高的黄金标准验证集。
为了成功实现这些目标，我们设计了一套系统化的研究方法和详尽的执行计划，以确保研究过程的严谨性和成果的可靠性。
4.0 研究方法论
本研究将采用分阶段的方法来系统地实现所有研究目标，确保每个阶段的成果都为后续研究奠定坚实的基础。整体方法论将围绕评估框架构建、模型基准测试和数据集扩展三个核心环节展开。
4.1 第一阶段：多元化评估框架的构建与校准
为实现研究目标一，我们将首先构建一个更加鲁棒和公正的评估体系。此阶段的关键步骤包括：
* 整合多元评估模型： 我们将选取多个行业领先的专有模型（如Gemini系列）和主流的开源模型（如来自不同模型家族的Qwen、GPT-OSS等）作为评估裁判，形成一个多元化的“裁判团”。
* 设计校准协议： 我们将设计一套严格的校准协议，用于分析并量化不同评估模型之间可能存在的系统性偏见。通过在标准子集上比较不同裁判的打分一致性和差异性，我们将建立一套偏差修正机制，以确保最终评估分数的鲁棒性和可靠性。
4.2 第二阶段：闭源模型的系统性基准测试
在可靠的评估框架就位后，我们将启动第二阶段，对闭源模型进行全面测试，以实现研究目标二。
* 模型选择： 我们将选择当前在各大排行榜上表现优异且被业界广泛认可的闭源推理系统作为测试对象。
* 严格的对照实验： 实验设计将严格遵循前期研究中已验证的对照评估协议。为确保结果的完全可比性，每个模型将在三种证据模式下进行测试：（1）知识图谱引导的最小化证据（KG-linked minimal evidence），（2）页面窗口证据（page-window evidence），以及（3）带干扰项的页面窗口证据（distractor-augmented evidence）。
4.3 第三阶段：基准数据集的扩展与专家验证
最后，我们将致力于扩展和完善核心基准数据集，以达成研究目标三。
* 生成复杂查询： 我们将利用现有的模式生成流水线，重点生成更多需要进行跨公司财务指标比较和跨年份业绩趋势分析的2-3跳复杂查询，以提升基准的挑战性和现实意义。
* 全面的专家审计： 我们将利用源项目中已开发的交互式标注界面。如源文附录（图1）所示，该工具支持标注人员高效验证跨文档片段的证据链接；其详细视图（图2）则同时展示了源文本内容、抽取的知识图谱三元组以及推理模式。这将确保我们对所有新增及现有的问答对进行全面、严谨的专家审计，从而保证最终发布的数据集达到黄金标准。
这套严谨的方法论将确保本研究计划的各项目标能够顺利实现，并产出高质量、可信的研究成果。
5.0 评估计划与成功标准
为了客观衡量本研究项目的成功与否，我们定义了以下关键绩效指标（KPIs）和成功标准，它们与我们的研究目标紧密对应。
评估维度 核心评估指标 成功标准
评估框架的鲁棒性 使用不同LLM裁判所得分数的差异性分析及一致性统计 实现一个评估者间一致性（例如，使用Krippendorff's alpha衡量）统计上显著高于基线水平的新框架。系统性地记录并降低模型家族偏见。
模型性能分析 LLM-Judge Score, BERTScore, Input Tokens, Completion Tokens 完成并发布一份关于主流开源与领先闭源模型在不同证据检索模式下性能的全面量化对比分析报告。
数据集的质量与规模 新增的、经过专家验证的QA对数量；跨公司/跨年份查询的覆盖率 发布一个包含至少1000个手动审计问答对（规模增加约80%）的新基准，其中跨年份和跨公司的查询数量至少增加两倍。
通过这些明确的评估标准，本研究的产出将是具体、可衡量且具有深远影响力的，为学术界和工业界提供宝贵的资源和洞见。
6.0 预期成果与学术影响力
本研究的预期成果不仅是学术上的理论贡献，更对金融科技领域的实际应用具有重要的指导意义。我们期望通过本计划产出以下三项核心成果：
* 一个更大规模、经全面手动验证的黄金标准金融多跳问答基准数据集。 这将成为未来相关研究的重要基础资源，推动社区进行更深入、更可靠的评测。
* 一份关于当前最先进的开源与闭源大语言模型在复杂金融推理任务上能力的综合性比较分析报告。 这份报告将为金融机构在技术选型和系统构建时提供权威的实证依据。
* 一套经过验证的、旨在减少评估偏见的多元化LLM评估协议。 该协议可被推广至其他领域的自然语言处理任务评测中，提升评估的科学性和公正性。
更广泛的影响力
这些成果将共同推动整个领域向前发展。本研究将直接**“促进可信、可解释、高性价比的金融问答系统的研究”，为构建能够在高风险、高标准的金融环境中稳定运行的智能系统提供坚实的基础。更重要的是，本研究的发现将为“在高风险领域设计证据感知型（evidence-aware）大语言模型提供实践见解”**，帮助开发者更好地理解如何将结构化知识与大语言模型的强大推理能力相结合，以应对现实世界中的复杂挑战。
总而言之，本研究计划旨在通过严谨的方法论和清晰的目标，为智能金融分析领域贡献宝贵的知识、工具和数据。
7.0 结论
金融多跳问答因其对信息检索精度和深度推理能力的双重考验，始终是自然语言处理领域的一大挑战。本研究计划在前一阶段工作的基础上，旨在系统性地解决当前研究中存在的评估者偏差、模型覆盖不足和基准规模有限等核心问题。通过构建多元化评估框架、全面测试闭源模型并大规模扩展黄金标准数据集，本研究将为该领域提供更可靠的评测基准、更全面的性能洞察和更优质的数据资源。我们相信，本计划的成功实施将极大地推动下一代智能金融分析工具的研发进程，为实现更加可靠、透明和高效的金融信息处理系统贡献关键力量。
8.0 参考文献
[1] Chen, Z., Chen, W., Smiley, C., Shah, S., Borova, I., Langdon, D., Moussa, R., Beane, M., Huang, T.-H., Routledge, B., & Wang, W. Y. (2021). Finqa: A dataset of numerical reasoning over financial data. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing.
[2] Islam, P., Kannappan, A., Kiela, D., Qian, R., Scherrer, N., & Vidgen, B. (2023). Financebench: A new benchmark for financial question answering. arXiv preprint arXiv:2311.11944.
[3] Arun, A., Dimino, F., Agarwal, T. P., Sarmah, B., & Pasquali, S. (2025). Finreflectkg: Agentic construction and evaluation of financial knowledge graphs. arXiv preprint arXiv:2508.17906.
[4] Reddy, V., Koncel-Kedziorski, R., Lai, V. D., Krumdick, M., Lovering, C., & Tanner, C. (2024). Docfinqa: A long-context financial reasoning dataset. arXiv preprint arXiv:2401.06915.
