眼科疾病在全球范围内具有极高的患病率和致盲风险,尤其是糖尿病视网膜病变、年龄相关性黄斑变性、青光眼等常见病症,对患者视力和生活质量造成严重影响。随着人口老龄化和慢性病高发,眼科医疗资源承受巨大压力,临床诊断的准确性和效率亟需提升。人工智能(AI)技术为眼科诊疗带来突破性可能,尤其是基础模型(Foundation Models)的出现,为多模态、多任务的临床辅助提供新路径。EyeFM作为一款专注于眼科的多模态视觉语言基础模型,集成了先进的深度学习架构,经过14.5百万张包含五种不同影像模态的眼科图像及全球临床文本信息联合训练,强化了跨模态信息理解与生成能力,实现了对眼疾病的精准识别和报告生成。EyeFM基于LLaMA 2的语言模块,结合视觉Transformer编码器,优异的算法结构确保其在图像与语言信息协同处理方面表现卓越。其不仅能够对彩色眼底照片(CFP)、光学相干断层扫描(OCT)、眼外照相、荧光素眼底血管造影等多种影像数据进行高效处理,还能辅助医生撰写标准化的临床报告,极大提升了临床工作流程的智能化水平。
EyeFM的开发团队汇聚全球顶尖眼科专家和人工智能科研人员,跨越亚洲、欧洲、北美和非洲多个国家和地区的数据,实现多民族、多模态的深度学习模型训练,确保模型具有广泛的适应性和通用性。为了验证EyeFM的临床效能,研究采用多阶段评估体系,涵盖回顾性验证、多中心读者研究、现实世界可行性试验,最终开展了一项随机对照试验(RCT) - - 该试验在中国高危人群中选取668名参与者,分配给16名眼科医生,分别在有无EyeFM辅助下进行视网膜病变筛查。结果显示,配合EyeFM作为临床辅助手段的医生,诊断准确率显著提升至92.2%,远高于对照组的75.4%;转诊率同样有所提高,达到92.2%,对照组为80.5%。此外,临床报告的标准化评分也显著优化,患者随访时的自我管理及转诊依从性均显著优于对照组,体现了EyeFM在改善患者干预效果和医患协作中的价值。临床医生对EyeFM的人机交互体验给予高度认可,认为其在辅助诊断、报告写作和临床决策方面均表现出色,降低了医生的认知负担,提高了工作效率。EyeFM的预训练策略采用联邦学习和人工反馈优化(DPO),保障了模型知识的不断迭代升级,同时兼顾了数据隐私和安全,符合国际医疗信息保护规范。
此外,EyeFM具备跨模态推断能力,能够利用单一模态的输入完成基于多模态训练的复杂疾病识别任务,例如仅通过彩色眼底照片推断需依赖OCT检测的糖尿病性黄斑水肿,大大提升了基层医疗机构低成本筛查的可能性。作为开源项目,EyeFM相关的代码和最小数据集均已公开发布,推动学界及业界的合作与创新,为未来眼科AI模型的开发和实践提供了宝贵资源。极具前瞻性的EyeFM不仅是在临床辅助层面上的成功实践,也代表了人工智能与眼科医学深度融合的典范。未来,EyeFM计划拓展更多眼科疾病与功能检测任务,提高多模态数据的融合深度,进一步延展至远程医疗和个性化眼健康管理。随着人工智能伦理、法规和患者隐私保护逐步完善,多模态基础模型有望成为数字医疗转型的重要引擎。综上所述,EyeFM通过其强大的视觉语言基础模型架构,凭借全球数据支持和严格的临床验证,成功实现了眼科疾病筛查和诊疗流程的智能辅助。
它不仅助力眼科医生提升诊断准确率,还提升了患者的遵医行为和干预成效,彰显了人工智能在改善公众眼健康中的关键作用。未来,EyeFM将继续革新眼科临床实践,实现更广泛的医疗价值和社会效益,引领眼科人工智能的发展新纪元。 。
