MamaBench与MamaRetrieval:评估母婴健康检索增强生成的新基准
研究团队发布了两个专门用于评估母婴、新生儿及生殖健康领域检索增强生成(RAG)系统的基准测试。MamaBench包含25949道来自七个专家来源的多选题、简答题和评分题,覆盖助产士日常遇到的医疗问答;MamaRetrieval则提供3185个临床查询与63650个指南语块的分级相关性标签(0-6分),采用细粒度评分规则区分“回答查询”与“仅相关”的语块。两个基准通过专家来源筛选、非二值相关性标注以及标签局限性说明(范围分类器一致性、前沿模型检查、池化完整性审计)确保评估可靠性。该工作填补了母婴健康领域没有公开语块级检索基准的空白,并为部署在设备端的医疗助手提供了标准评测工具。