值得信赖的临床人工智能：一项关于可解释性、信任校准和决策支持的纵向研究
1.0 背景与问题陈述
人工智能（AI）正以前所未有的速度融入医疗健康等关键领域，从疾病诊断到治疗方案规划，其应用日益广泛。为确保这些先进系统能够真正改善患者的治疗效果，我们面临一项战略性挑战：如何让临床医生信任并有效使用它们。信任并非一项技术特性，而是构建高效人机协作医疗模式的基石。随着临床AI在现实世界中的加速部署，由信任缺失导致的决策失误风险已迫在眉睫，这使得本项研究不仅至关重要，而且刻不容缓。
当前，医疗领域应用的高级AI模型普遍存在“黑箱”问题，其内部决策逻辑的不透明性引发了日益增长的公众关注。模型的预测准确率虽是重要指标，但仅凭准确率本身，远不足以建立临床医生的信任，尤其是在决策失误可能对患者健康造成严重后果的高风险场景中。当一个AI系统提出一项关键的诊断建议或治疗方案时，临床医生需要的不仅仅是一个“答案”，更需要一个能够理解、评估并最终为其负责的“理由”。
尽管可解释性人工智能（XAI）领域发展迅速，但现有研究仍存在一个显著的空白：目前严重缺乏关于不同解释模式如何随着时间推移影响临床医生信任的实证性、纵向研究。多数研究要么过于侧重技术开发者的需求，要么局限于单次交互的评估，未能揭示在真实临床工作流中信任动态演变的复杂过程。本研究正是为了填补这一空白，致力于探索信任建立、校准和维持的长期机制。
本研究的核心论点是：与静态、单向的解释相比，以人为本的交互式解释对于校准临床医生的信任、促进AI技术的有效采纳以及保障临床决策过程的程序公平性至关重要。通过赋予临床医生探索、质询和理解AI推理过程的能力，我们不仅能够提升他们对系统的信心，还能帮助他们更精准地判断何时应该信赖AI，何时应该提出质疑。
为验证这一论点，我们开展了一项严谨的前期研究，其令人信服的结果为本次申请的大规模纵向研究奠定了坚实的基础。下文将详细阐述我们的前期发现，并以此引出本次研究的具体目标与方法。
2.0 文献综述与前期研究基础
本章节旨在将拟议的研究项目置于可解释性人工智能（XAI）的现有知识体系中，并详细介绍我们前期研究的成果。这些初步发现不仅揭示了交互式解释的巨大潜力，也明确指出了当前研究的局限性，从而为本次申请的新研究提供了直接且充分的论证依据。
2.1 可解释性人工智能（XAI）研究现状
XAI领域在过去十年中经历了深刻的演变，其研究范式已从早期的以开发者为中心、提供事后（post-hoc）分析工具（如LIME、SHAP）的阶段，转向了以用户为中心的交互式框架。尽管局部和全局解释等技术提升了模型的透明度，但它们生成的解释往往无法满足非技术背景终端用户的实际需求。针对这一不足，学界开始倡导一种“以人为本”的XAI理念，强调解释应与人类的认知模式和社会情境相契合。特别是反事实解释（“如果……会怎样？”）和交互式探索方法，因其能够模拟人类的因果推理和对话式探究过程，被认为是构建真正可信赖AI系统的关键。
2.2 前期研究基础
为量化评估不同解释类型对用户信任的影响，我们（由Allen Daniel Sunny领导）进行了一项初步的定量研究。
* 研究目标： 在一个模拟的高风险决策环境（贷款审批）中，定量探究四种不同解释类型（无解释、基本特征重要性、上下文解释、交互式解释）对用户信任度的影响。
* 研究方法： 我们设计了一个基于网络的互动游戏，招募了15名参与者。每位参与者需要与两个AI模型（一个性能良好，一个性能较差）进行交互，并被随机分配到四种解释条件之一。这种设计使我们能够严格控制并比较不同解释风格对用户感知的影响。
* 核心发现： 研究结果清晰地表明，解释的类型对用户信任有显著影响。如下表所示，交互式解释在建立用户信任和提升系统可解释性感知方面，均显著优于其他形式。
解释类型 平均信任度 (1-5分) 平均可解释性 (1-5分)
无解释 2.98 2.81
特征重要性 3.51 3.42
上下文解释 3.87 3.76
交互式解释 4.22 4.15
对数据的深入分析揭示，交互式解释之所以表现最佳，是因为它赋予了用户一种“控制感”和“能动性”。这种互动过程极大地促进了信任校准（trust calibration）——即用户能够根据AI的实际可靠性来精确调整其信任水平。当用户能够通过“what-if”场景查询来探索AI的决策边界时，他们不再将AI视为一个深不可测的“神谕”，而是将其看作一个可以对话与协作的决策伙伴，从而在面对高性能AI时敢于信赖，在面对不可靠AI时保持警惕。
2.3 为何需要进一步研究？
尽管前期研究取得了积极成果，但其局限性也为我们指明了未来的研究方向。我们的前期研究成功地验证了本项目的核心假设（即交互性至关重要）和研究方法（即因子实验设计）的可行性，可以被视为一个成功的“概念验证”。然而，其固有的局限性也恰恰是本次申请的新研究旨在解决的核心问题：
1. 样本量较小： N=15的样本量限制了研究结果的普适性。
2. 模拟环境非医疗领域： 贷款审批与临床决策虽然同为高风险场景，但其专业知识、决策压力和伦理考量存在巨大差异。
3. 依赖自我报告指标： 研究主要依赖于问卷评分，未能包含能够客观反映信任水平的行为数据（如决策时间、AI建议的否决率等）。
4. 缺乏纵向视角： 研究为单次交互实验，未能揭示信任在长期、重复使用过程中的动态演变。
2.4 研究基础与展望
综上所述，前期研究的成功为我们提供了坚实的起点和明确的研究方向。本次申请的研究将在此基础上，通过一个更大规模、更贴近真实场景的纵向研究，系统地探索在医疗健康这一关键领域中，AI解释性与临床医生信任之间的深层关系。
3.0 研究目标与研究问题
本研究旨在系统性地扩展我们前期研究的发现，将研究重心从通用的模拟环境转移至高度专业化的医疗领域。我们的目标是超越初步的定量结果，生成专为医疗健康领域量身定制的、具有实践指导意义的深刻见解。为此，我们设定了以下核心研究目标与具体研究问题。
3.1 主要研究目标
本项目的首要目标是：通过一项纵向研究，系统评估交互式与静态AI解释对临床医生在使用临床决策支持系统（CDSS）时的信任度、决策行为和信任校准过程的长期影响。
3.2 具体研究问题
为实现上述目标，我们将围绕以下四个核心研究问题展开调查：
1. RQ1 (信任动态)： 在与不同解释系统（交互式、上下文式、基本式、无解释）的重复互动中，临床医生的信任度及其对AI建议的依赖程度是如何随时间演变的？
2. RQ2 (行为影响)： 与静态解释相比，交互式解释在多大程度上影响临床医生的实际决策行为？例如，它是否会改变医生否决AI建议的比率？
3. RQ3 (信任校准)： 为直接检验信任校准机制，不同类型的解释如何帮助临床医生校准他们的信任？即，当AI模型表现出色或出现错误时，哪种解释能更好地帮助医生使其自身信心与AI的实际性能相匹配？
4. RQ4 (认知负荷与公平性)： 基于前期研究中观察到的信息量与认知负荷之间的张力，在临床情境中，解释类型、医生感知的认知负荷、以及他们对AI系统公平性与透明度的评价之间存在何种关系？
这些研究问题将指导我们的研究设计与数据分析，确保我们能够系统、全面地探究AI解释性在真实临床应用中的复杂作用。接下来，我们将详细阐述为解答这些问题而设计的严谨研究方法。
4.0 研究方法
本研究方法旨在最大化生态效度（ecological validity），同时保持严格的实验控制（experimental control），从而直接弥补我们前期工作的核心局限。通过引入纵向研究框架、结合行为测量指标和构建高保真临床模拟环境，我们力求为医疗领域的AI设计提供可靠的实证依据。
4.1 研究设计
本项目将采用为期18个月的纵向、混合方法研究设计。参与者将在多个时间节点与一个模拟的临床决策支持系统（CDSS）进行互动。该设计借鉴了前期研究的因子设计模型，但增加了关键的纵向维度，以捕捉信任随时间变化的动态过程。
4.2 参与者
我们将招募60名来自不同专业的执业住院医师和主治医师。选择这一群体是因为他们是临床新技术采纳的关键力量，其专业经验和决策习惯具有高度代表性。相较于前期研究的15名参与者，60人的样本量将为我们提供更强的统计效力，从而提高研究结论的可靠性。
4.3 研究环境与任务
* 研究平台： 我们将开发一个高保真的、基于网络的临床决策支持系统（CDSS）模拟平台。
* 临床任务： 参与者将审查一系列精心设计的虚拟患者案例，例如根据医学影像诊断皮肤病变，或解读化验结果以评估脓毒症风险。在每个案例中，他们将接收AI系统给出的诊断或治疗建议，并利用系统提供的解释来做出最终的临床决策。
* AI模型： 为有效测试信任校准，平台将内置两个AI模型，这与我们的前期研究设计保持一致：
* “高绩效AI”：准确率约为92%，代表当前先进模型的水平。
* “不可靠AI”：我们通过故意引入错误，使其准确率约为65%，用以模拟模型在面对复杂或罕见病例时可能出现的性能下降。
4.4 实验条件
参与者将被随机分配到以下四个“被试间”实验条件之一，这些条件是对前期研究设计的临床化调整：
1. 无解释条件： 参与者仅能看到AI给出的最终建议（例如，“诊断建议：恶性黑色素瘤”）。
2. 基本解释条件： 参与者将看到一个静态的特征重要性列表（例如，“关键脓毒症指标：乳酸 > 2 mmol/L, 白细胞计数 > 12,000/μL, 体温 > 38.3°C”）。
3. 上下文解释条件： 参与者将收到一段结构化的文本摘要，以自然语言形式概述AI的推理过程。
4. 交互式解释条件： 参与者可以主动向系统提出“what-if”反事实查询（例如，“如果患者的体温再低一些，AI的诊断会改变吗？”），从而动态探索模型的决策逻辑。
4.5 数据收集与测量
为克服前期研究中仅依赖自我报告指标的局限，我们将采用多模态数据收集策略：
* 定量问卷： 我们将在研究的多个时间点使用经过验证的李克特量表来测量信任度（改编自 Hoffman et al., 2021; Cahour and Forzy, 2009）和可解释性（改编自 Nauta et al., 2023），这与前期研究中使用的工具保持一致。
* 行为日志： 模拟平台将自动记录关键的交互行为数据，包括决策时间、AI建议否决率以及在交互条件下的查询次数。这些客观数据将为我们提供评估信任的宝贵行为指标。
* 定性访谈： 在研究结束时，我们将对部分参与者进行半结构化访谈，以深入了解他们对系统公平性、认知负荷以及AI在临床工作流中整合潜力的看法，从而为定量数据提供丰富的背景和深度。
通过这一系列严谨的研究设计，我们有信心能够产出兼具深度与广度的研究成果，为构建值得信赖的临床AI系统提供坚实的科学基础。
5.0 预期成果与影响力
本研究旨在解决一个关键的现实问题：如何设计出能被临床医生真正信任和有效使用的AI系统。因此，我们的研究成果不仅具有重要的学术价值，更将在AI设计实践、医疗政策制定和负责任AI治理等多个层面产生深远的影响。
5.1 对科学知识的贡献
本研究将首次提供关于AI可解释性如何长期塑造临床医生信任的纵向、定量实证证据。我们将提出并验证一个在人机协作临床团队中关于信任校准的动态模型，填补当前理论研究的空白。这将为人类计算机交互、医学信息学和认知科学等交叉学科领域贡献宝贵的知识。
5.2 对可信赖AI设计实践的影响
研究结果将直接转化为一个经过验证的、用于设计自适应解释界面的框架（a validated framework for designing adaptive explanation interfaces），并为**平衡解释保真度与认知工效学（balancing explanation fidelity with cognitive ergonomics）**提供可操作的启发式原则。这些成果将帮助开发者和设计师创建能够促进适当信任、同时规避过度依赖或过早放弃AI工具风险的用户界面，直接响应了学术界对于开发自适应解释系统的呼吁。
5.3 对负责任AI治理的推动
本研究将为医疗领域的AI政策制定和伦理治理提供关键信息。通过识别能够增强系统透明度和程序公平感的解释机制，我们的研究成果将帮助医疗机构、监管部门和行业协会制定更为有效的、可问责的AI系统部署标准。这有助于确保临床AI的应用不仅在技术上是先进的，在伦理和法律上也是负责任的。
5.4 成果传播计划
为确保研究成果的最大化影响力，我们将通过以下渠道进行广泛传播：
* 在人机交互（HCI）和医学信息学领域的顶级学术期刊和会议上发表研究论文。
* 为医院管理者、首席信息官和政策制定者撰写一份白皮书，以通俗易懂的语言总结核心发现和实践建议。
* 通过公开演讲、研讨会和媒体合作，向更广泛的公众普及可信赖临床AI的重要性。
总而言之，本研究不仅是对一个科学问题的探索，更是一项旨在推动医疗AI健康、可持续发展的实践性努力。其成果将为构建一个更安全、更高效、更人性化的智能医疗未来奠定坚实的基础。
6.0 结论
人工智能为医疗健康领域带来了前所未有的机遇，但要将这些机遇转化为切实的临床效益，其前提是：我们必须设计出能够被一线临床医生理解、信赖并有效协作的AI系统。透明度和信任并非AI部署过程中的附加选项，而是其成功的核心所在。
本项目建立在坚实且富有成效的前期研究基础之上，旨在解决当前领域内一个至关重要的研究空白。通过采用严谨的纵向研究方法，我们的研究将为信任校准建立一个基础模型，为行业交付一个经过验证的设计框架，并首次量化信任在长期人机互动中的动态演变。
资助这项研究，不仅是对一项前沿科学探索的投入，更是对一个更安全、更高效、更人性化的临床AI未来的投资。我们坚信，本研究的成果将为全球医疗体系负责任地拥抱人工智能革命提供关键的理论指导和实践蓝图，最终惠及每一位患者。
7.0 参考文献
Afroogh, S., Akbari, A., Malone, E., Kargar, M., and Alambeigi, H. (2024). Trust in ai: Progress, challenges, and future directions. arXiv.
Cahour, B. and Forzy, J.-F. (2009). Does projection into use improve trust and exploration? an example with a cruise control system. Safety Science, 47(9):1260–1270.
Cai, C. J., Jongejan, J., and Holbrook, J. (2019). The effects of example-based explanations in a machine learning interface. In Proceedings of the 24th International Conference on Intelligent User Interfaces, pages 258–262.
Du, M., Liu, N., and Hu, X. (2019). Techniques for interpretable machine learning. arXiv.
Ehsan, U. and Riedl, M. O. (2020). Human-centered explainable ai: Towards a reflective sociotechnical approach. arXiv.
Ehsan, U., Tambwekar, P., Chan, L., Harrison, B., and Riedl, M. O. (2019). Automated rationale generation: A technique for explainable ai and its effects on human perceptions. In Proceedings of the 24th International Conference on Intelligent User Interfaces, pages 263–274.
Fulton, L. B., Lee, J. Y., Wang, Q., Yuan, Z., Hammer, J., and Perer, A. (2020). Getting playful with explainable ai: Games with a purpose to improve human understanding of ai. In Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems, pages 1–8.
Hoffman, R., Mueller, S., Klein, G., and Litman, J. (2021). Measuring trust in the xai context. PsyArXiv Preprints.
Jacovi, A., Marasović, A., Miller, T., and Goldberg, Y. (2021). Formalizing trust in artificial intelligence: Prerequisites, causes and goals of human trust in ai. arXiv.
Krause, J., Perer, A., and Ng, K. (2016). Interacting with predictions: Visual inspection of black-box machine learning models. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pages 5686–5697.
Le, T., Miller, T., Singh, R., and Sonenberg, L. (2023). Explaining model confidence using counterfactuals. AAAI, 37(10):11856–11864.
Li, Y., Xu, M., Miao, X., Zhou, S., and Qian, T. (2024). Prompting large language models for counterfactual generation: An empirical study. arXiv.
Lundberg, S. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. arXiv.
Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence, 267:1–38.
Nauta, M. et al. (2023). From anecdotal evidence to quantitative evaluation methods: A systematic review on evaluating explainable ai. ACM Computing Surveys, 55(13s):1–42.
Nguyen, T., Canossa, A., and Zhu, J. (2024). How human-centered explainable ai interface are designed and evaluated: A systematic survey. arXiv.
Nourani, M., Kabir, S., Mohseni, S., and Ragan, E. D. (2019). The effects of meaningful and meaningless explanations on trust and perceived system accuracy in intelligent systems. In Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, 7:97–105.
Raji, I. D. and Dobbe, R. (2023). Concrete problems in ai safety, revisited. arXiv.
Ribeiro, M. T., Singh, S., and Guestrin, C. (2016). ’why should i trust you?’: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 1135–1144.
Roszel, M., Norvill, R., Hilger, J., and State, R. (2021). Know your model (kym): Increasing trust in ai and machine learning. arXiv.
Thiebes, S., Lins, S., and Sunyaev, A. (2021). Trustworthy artificial intelligence. Electronic Markets, 31(2):447–464.
Whittlestone, J. and Clarke, S. (2022). AI Challenges for Society and Ethics. Oxford University Press.
Yang, F., Huang, Z., Scholtz, J., and Arendt, D. L. (2020). How do visual explanations foster end users’ appropriate trust in machine learning? In Proceedings of the 25th International Conference on Intelligent User Interfaces, pages 189–201.
Yeh, I-C. (2016). Default of credit card clients. UCI Machine Learning Repository.
