MedRealMM：中国在线医疗咨询的真实多模式基准

arXiv:2607.09142v1 公告类型：新 摘要：大语言模型（LLM）越来越多地应用于在线医疗咨询中，但现有的基准与实际临床实践仍然不一致。许多方法依赖于综合对话或患者模拟器，忽略患者上传的医学图像，或使用多项选择或词汇重叠指标来评估开放式临床反应，而这些指标不能很好地反映临床质量。我们引入 \textbf{MedRealMM}，这是一个多模式在线医疗咨询的大型基准，是根据从全国范围内的互联网医院收集的去识别化的医患互动而构建的。 MedRealMM 使用多模式临床挑战点 (MCCP) 提取框架来识别真实咨询轨迹中的临床要求时刻，并将每个时刻转换为标准化的下一个响应生成任务，同时保留前面的文本图像上下文。每个实例都与医生完善的针对特定病例的评分标准配对，奖励临床上理想的行为，并惩罚不安全、不受支持或矛盾的反应。当前版本包含 5,620 个真实的多模式病例，涵盖 64 个临床科室。我们评估了 19 个通用和医学专业法学硕士，包括纯文本和多模式系统。我们的结果表明，图像信息对于可靠的临床表现至关重要，并且当前的前沿模型仍然低于在线医生的反应。尽管一些前沿模型满足与医生一样多或更多的积极临床标准，但它们会引发更多消极标准，这表明安全敏感的错误避免仍然是一个中心瓶颈。 MedRealMM 为评估现实世界在线咨询中的多模式医学推理提供了现实且可重复的基准。该数据集将在 Hugging Face 上公开提供：https://huggingface.co/datasets/jdh-algo/MedRealMM。