对金融分析领域深度研究智能体的评估：一项研究计划
1.0 引言与背景 (引言 and Background)
由大型语言模型（LLM）驱动的深度研究（Deep Research, DR）智能体的兴起，标志着复杂研究任务处理方式的根本性转变。这些先进的智能体能够自动导航网络、聚合与整合相关信息，并针对如金融分析等复杂研究任务生成综合报告。随着这类工具的迅速普及和广泛应用，对其能力进行严谨、系统的评估已成为当务之急。这项研究计划旨在填补当前评估方法的空白，为理解和提升这些变革性技术的可靠性提供坚实基础，并提出一个必要的、创新的评估范式。
然而，现有的评估方法在全面衡量DR智能体性能方面存在显著局限。这些方法主要分为两类，其核心缺陷如下表所示：
方法类别 (Methodology Category) 核心局限性 (Core Limitations)
以答案为中心的验证 (Answer-centric Verification) 将评估简化为单一的正确性检查，忽略了实质性的分析成果。
整体质量评估 (Holistic Quality Assessment) 依赖于“有用性”等高级别、主观的指标，导致评分肤浅或无法复现。
由此可见，现有方法陷入了一个根本性的两难困境：专注于可验证的事实则忽视了对分析连贯性的评估，而强调整体质量又往往缺乏可验证的细节支撑。一项高质量的分析恰恰需要同时满足这两个标准。
2.0 研究问题与核心理念 (Research Problem and Core Concepts)
当前评估方法的根本缺陷在于，它们无法同时满足高质量分析所需的两个关键标准：结构化的严谨性与信息的精确性。为了克服这一挑战，本研究计划提出一个统一的框架，该框架基于两个核心理念：
* 结构严谨性 (Structural Rigor)：评估智能体的发现和推理是否被组织成一个连贯、可验证的分析结构。这确保了研究报告的系统性和专业性，使其遵循行业公认的最佳实践。
* 信息精确性 (Information Precision)：评估智能体提出的主张是否具体、准确且可溯源。这要求报告中的每一个事实、数据和结论都必须经得起检验，对于金融等高风险领域至关重要。
基于以上理念，本研究计划确立了以下三个核心目标：
* 目标一： 开发一个统一的评估框架，该框架能够同时衡量DR智能体在金融分析中的结构严谨性和信息精确性。
* 目标二： 基于此框架，构建一个全面、多语言、多市场的基准数据集，用于对DR智能体进行严格、可复现的测试。
* 目标三： 通过广泛的实验，系统地评估当前最先进的DR智能体和LLM的性能，揭示其在不同能力维度、金融市场和语言环境下的优势与不足，为未来的技术进步提供明确方向。
为了实现这些目标，我们首先需要设计一个能够全面体现专业金融分析流程的创新评估框架。
3.0 拟议研究框架：HisRubric (Proposed Research Framework: HisRubric)
为解决上述研究问题，我们提出名为HisRubric的创新评估框架。该框架是本研究计划的核心方案，其设计基于两大支柱：一个由专家设计的层次化分析结构，以及一套精细化的评分准则，旨在系统性地评估DR智能体的综合能力。
层次化分析结构
该分析结构由资深金融专家团队精心设计，旨在真实模拟专业分析师的工作流程。它将一份完整的公司财务分析报告分解为一个清晰、规范的层次化体系，确保评估的全面性和严谨性。
* 该结构包含 6个主要部分和18个子部分，覆盖了从公司基本面到市场表现的关键分析维度。
* 这6个主要部分分别是：
* 第一部分：公司概况 (Company Overview)：提供公司的简明概览，包括其基本信息、行业背景、核心优势及战略方向。
* 第二部分：财务表现 (Financial Performance)：对公司的财务健康状况进行详细分析，涵盖主要财务报表和关键业绩指标。
* 第三部分：业务分析 (Business Analysis)：通过对已获取数据的深度分析，识别关于公司业务、财务表现和盈利能力的关键洞见。
* 第四部分：风险因素 (Risk Factors)：识别并讨论公司面临的主要风险，包括市场、财务、运营和监管风险，以及相应的管理策略。
* 第五部分：公司治理 (Corporate Governance)：概述公司的治理框架，包括董事会、高管领导层、治理政策与实践，以确保透明度和问责制。
* 第六部分：市场表现 (Market Performance)：对公司的股票表现、塑造其公众形象的新闻事件以及当前市场估值进行全面分析。
精细化评分准则
为了对智能体生成报告的质量进行量化评估，HisRubric框架采用了一套精细化的评分准则。该准则旨在衡量智能体在四个递进层次上的分析能力：
1. 识别能力 (Recognition): 评估智能体准确识别和提取特定事实数据的基本技能，这是所有分析的基础。
2. 计算能力 (Calculation): 评估智能体精确计算和验证数值的能力，是严谨定量分析的基石。
3. 抽象能力 (Abstraction): 评估智能体综合复杂关系并总结有价值模式的能力，即从杂乱数据中提炼核心观点的关键技能。
4. 解读能力 (Interpretation): 评估智能体对现有数据进行深度分析，提供富有洞察力的发现和启示的能力，这体现了最高水平的分析推理能力。
值得强调的是，这四个维度的设计并非任意而为，而是深度植根于学术界和业界的公认标准。从学术角度看，它们与成熟的金融分析评估框架高度一致；从行业实践看，它们也与全球金融市场的最佳实践相契合。例如，《机构投资者》的全美研究团队奖（Institutional Investor’s All-America Research Team Awards）和路孚特的StarMine分析师奖（Refinitiv StarMine Analyst Awards）等权威奖项，均系统性地从认知准确性、推理深度和解读洞察力等方面评估研究质量。同时，CFA协会的格雷厄姆与多德奖（CFA Institute’s Graham & Dodd Awards）也强调应用金融分析的卓越性和沟通的清晰度。这些行业标准共同印证了我们所提出的四个能力维度是衡量分析严谨性和专业能力的关键指标。
为了反映不同分析能力的复杂性，评分机制赋予了“抽象”和“解读”能力更高的权重。这两类评分项每项计2分，而其他能力项计1分，使得每份报告的总分达到350分。
HisRubric框架为系统性评估提供了坚实的理论基础，而其实际应用则依赖于一个大规模、高质量的基准数据集。
4.0 拟议基准：FinDeepResearch (Proposed Benchmark: FinDeepResearch)
基于HisRubric框架，我们拟议构建一个名为FinDeepResearch的基准数据集。该基准旨在为评估DR智能体在金融分析领域的真实能力提供一个多样化、具有挑战性且标准化的测试平台。
基准的范围与规模
FinDeepResearch基准的设计覆盖了全球多个主要金融市场和多种语言，以确保评估结果的广泛适用性。其关键统计数据总结如下：
统计指标 数值
语言数量 (Number of Languages) 4
金融市场数量 (Number of Financial Markets) 8
行业数量 (Number of Industries) 10
公司总数 (Number of Selected Companies) 64
评分项总数 (Total Number of Grading Items) 15,808
构建流程与质量控制
为确保FinDeepResearch基准的最高质量标准，我们将采取以下关键措施：
* 专家主导设计 (Expert-Led Design): 邀请一个由超过30名行业专家、金融教授和学者组成的团队，全程参与从分析结构设计、公司选择到最终数据验证的各个环节。
* 多源数据交叉验证 (Cross-source Data Validation): 对于财报、股价等关键财务数据，要求必须得到至少两个独立数据源的证实。若出现差异，将由金融专家进行人工审核裁定，以确保数据的准确性。
* 结构化生成与验证 (Structured Generation and Verification): 采用严谨的四步流程构建基准：
1. 公司选择： 在全球8个主要金融市场中，基于行业分布挑选64家具有代表性的上市公司。
2. 语料库准备： 收集并整理每家公司的财务报表、股价、新闻、市场指数等相关数据。
3. 基于分区的自动生成： 利用多个大型语言模型（LLM）对每个评分项生成候选答案，并通过投票机制（Multiple LLMs Voting）选出初步的权威值。
4. 两轮人工验证： 由金融专家进行两轮严格的审核。第一轮由不同的小组分章节验证，以确保专业领域的准确性；第二轮由高级专家进行跨章节审查，以确保报告的整体一致性和逻辑连贯性。
FinDeepResearch基准的全面性和严谨性为后续的实验评估奠定了坚实基础。接下来，我们将设计一个公平、有效的实验流程来系统评估各种模型的表现。
5.0 实验设计与评估协议 (Experimental Design and Evaluation Protocol)
本节将详细介绍如何使用FinDeepResearch基准，对不同类别的深度研究方法进行系统性评估。整个实验设计将围绕我们提出的两个核心维度——“信息精确性”和“结构严谨性”——来展开，以全面揭示当前技术的性能边界。
评估指标
为量化模型的性能，我们将采用以下两个主要分数。这些评分协议的设计旨在恰当地评估不同类型的生成内容：
* 信息精确性 (Information Precision): 通过一个标准化的“准确分 (accuracy score)”来衡量。该分数综合了针对不同类型评分项的三种评估协议，以确保评估的公正性与准确性：
* 准确度 (Accuracy): 用于评估客观事实性数据（如识别和计算类），通过与标准答案对比进行评分。
* 基于声明的评分 (Claim-based Score): 用于评估摘要性内容（如抽象类），通过评估模型生成的内容是否覆盖了标准答案中的核心观点来进行评分。
* 基于标准的评分 (Criterion-based Score): 用于评估细致的定性分析（如解读类），通过预先由专家制定的详细评分标准，对分析的深度和论证的质量进行评分。
* 结构严谨性 (Structural Rigor): 通过一个“结构分 (structure score)”来衡量。该分数采用基于规则的验证方法，对生成报告中的6个主章节、18个子章节和18个Markdown表格的合规性进行评分，以量化其对预设分析结构的遵循程度。
待评估的方法类别
为全面了解不同技术路线的优劣，我们计划对以下三类具有代表性的方法进行比较评估：
* 仅具备思维能力的LLM (LLM with Thinking - T): 仅依赖模型内部知识进行推理和生成的基线方法。
* 具备思维和搜索能力的LLM (LLM with Thinking + Search - T+S): 结合了外部网络搜索能力以获取最新信息的增强型LLM。
* 深度研究智能体 (Deep Research - DR): 具备规划、多轮搜索、整合和生成能力的先进自主智能体。
通过上述严谨的实验设计，我们期望能够获得一系列关于当前AI技术在复杂金融分析任务中真实能力的深刻发现，这些发现将构成我们研究的主要成果。
6.0 预期成果与学术贡献 (Expected Outcomes and Academic Contributions)
本研究计划旨在通过实证数据，揭示当前人工智能技术在执行复杂、严谨的金融分析任务时的真实能力、局限性与未来发展方向。我们预期将验证以下假设并获得相关发现：
预期发现
1. DR智能体的性能优势： 预计深度研究（DR）智能体在总体性能上将显著优于其他两类方法，尤其是在需要准确提取和处理数据的“识别”和“计算”能力方面表现突出。
2. 结构与精确性的失衡： 预计大多数受测方法能够较好地遵循预设的分析结构，表现出较高的结构严谨性；然而，它们在生成具体、准确的信息方面将普遍面临困难，导致信息精确性得分较低。
3. 高级认知能力的挑战： 预计需要深度洞察和分析的“解读”能力，将是所有受测方法面临的最大挑战，其得分将显著低于其他三项能力（识别、计算、抽象）。
4. 跨市场与语言的性能差异： 预计模型在处理非英语市场（如中国大陆和香港）的金融分析任务时，由于语言和数据环境的复杂性，其性能将出现明显下降。
学术贡献
本研究将为学术界和业界带来三项核心贡献：
* 新颖的评估框架： 提出HisRubric框架，这是一个专为评估严谨金融分析而设计的双重评估体系，它首次将结构严谨性与信息精确性置于同等重要的地位。
* 全面的基准数据集： 构建并计划发布FinDeepResearch基准，这是一个覆盖全球8个主要市场、4种语言的大规模、高质量数据集，将为推动该领域的后续研究提供宝贵的资源。
* 对前沿技术的深刻洞见： 提供对当前最先进DR智能体能力的广泛实证分析，揭示其在实际应用中的长处与短板，为开发更可靠、更适用于高风险应用场景的下一代AI系统提供关键见解。
这些预期成果和贡献将共同推动人工智能在金融等专业领域的应用边界，为构建更值得信赖的AI系统奠定基础。
7.0 结论 (结论)
当前，对深度研究（DR）智能体的评估面临着严峻挑战，现有方法难以兼顾分析的结构完整性与事实的精确性。本研究计划提出的HisRubric框架和FinDeepResearch基准，旨在通过引入“结构严谨性”和“信息精确性”的双重评估维度，为解决这一难题提供一个系统性的、具有开创性的解决方案。
我们坚信，对严谨性与精确性的双重评估，是构建可信赖的下一代DR智能体的关键一步。这项研究的成果不仅将揭示当前技术的真实水平，还将为未来AI在金融领域的应用指明方向。长远来看，本研究中提出的评估框架具有良好的可扩展性，未来可以应用于法律、临床研究等其他同样要求高度严谨性和精确性的专业领域，从而推动人工智能在更广泛的关键应用场景中发挥其巨大潜力。
