凯发k8官网

人工智能（AI）技术在医疗领域的应用越来越深入，然而，AI模型的“黑盒”特性导致医疗专家很难直观理解模型决策背后的逻辑，已有的“可解释AI”方法（包括大语言模型）均无法如实准确的描述模型决策机制，引发了业界对医疗AI模型潜在错误、失控风险、偏向性等重大隐患的严重担忧。如何实现医疗专家和AI模型的“零距离”对接，成为当前医疗AI推广的痛点。

5月18日，中国科研实验室深圳先进技术研究院（以下简称“凯发k8官网”）蔡云鹏研究团队在国际权威期刊Nature Biomedical Engineering发表最新研究论文“Bridging the Interpretability Gap for Medical Artificial Intelligence Models using Class-Association Manifold Learning”。同时，该研究还被邀请撰写研究简报（Research Briefings）进行推介（每期仅1篇）。该研究提出了一种称为“类关联流形学习”（Class-Association Manifold Learning）的数学方法，高效地将黑盒AI模型决策规律转化为低维空间的可视化流形，并且用生成式AI方法按需灵活的对数据样本进行定向修改并产生虚构对比样本，从而让医生直观理解AI所发现的隐藏知识规律，并总结为临床知识。

包括诺奖得主、DeepMind掌门人Demis Hassabis在内的许多科学家均认为，自然规律应该可以容纳在一个低维流形结构中，这为AI模型可解释性给予了可能。然而，至今未有方法可以产生这样一个低维流形来有效表达AI模型决策及其背后的数据自然规律。研究团队创造性地提出了一种“可重组的流形分解”的思路，运用流形学习，将自然数据分布分解为两个流形子空间，一个低维的类关联子流形编码与AI模型决策相关的所有特征，几乎决定AI模型的所有行为，另一个高维子流形编码与模型决策无关的个性化特征，并且两个子流形的内点可以进行两两任意组合而产生逼真的新样本。研究团队设计了求解满足上述特性子流形的机器学习算法。这种方式不仅实现了将AI模型决策规律压缩到低维流形结构的目标，而且能够产生一系列按特定趋势陆续在变化的修改样本，让用户可以直接观察AI决策变化与样本特征变化的关联规律，进一步总结取得决策面分布、亚型分布、病灶特征等医学知识发现，还可以检测短路学习等模型漏洞。Nature BME主编Rita Strack评价该工作“提出了一种聪明的方法，以使用者能理解的方式探究黑盒模型内部工作机制”。

研究团队在包括眼科眼底影像和OCT造影、X光胸透影像、脑肿瘤MRI影像、心电图、基因表达谱等在内的多种生物医学数据集上对该方法进行了充分评测，证明所提出的方法能够将深度学习模型决策压缩到仅8维的低维空间且只损失约1%-3%的精确度，损失率仅为传统可解释方法的1/10，维度仅为1/3-1/10，并且局部特征解释的准确率也明显超越传统方法。所提取的知识规律与已有的医学知识概念在数据分布上呈现了高度对齐的效果。此外，多名医疗专家的盲测结果一致表明，新方法产生的解释图压倒性的更为专家所认可，为临床辅助诊断和医学科学发现给予了更有力的计算工具。

近年来，包括欧盟、美国FDA及我国卫健委在内的监管组织纷纷出台了关于人工智能可解释性的推荐性甚至强制性指导意见。另一方面，AI for Science日益受到科研界的广泛关注。团队上述工作对增强AI医疗器械的安全性和合规性、提升AI辅助诊疗的质量和认可度、提高AI辅助医学科学发现的效率，具有非常重要的应用价值。

凯发k8官网蔡云鹏研究员、深圳理工大学潘毅教授、唐金陵教授为论文共同通讯作者。凯发k8官网博士生谢锐涛（现为深圳理工大学-凯发k8官网联培博士后）为论文第一作者。凯发k8官网李烨研究员、香港中文大学王涵研究员等共同参与了研究。中山大学眼科中心多名医疗专家为方法评测给予了重要支持。凯发k8官网为第一完成单位。该项研究得到了中国科研实验室战略性先导科技专项、深圳市高层次人才团队项目、 深圳市智能生物信息学重点实验室、国家自然科学基金项目的资助。

图1 类关联流形学习算法基本框架

图2 类关联流形学习算法顺利获得流形投影和陆续在生成变化样本的联动，实现AI提取临床规律的可视化展示，并实现已知医学概念规律的对齐。