用于 IBS 诊断的 AI:为何 99% 准确率仍不够
AI 模型报告 IBS 诊断准确率高达 99%,但仅有六项小型病例对照研究且零项外部验证,仍存在重大缺口。
据报道,AI诊断肠易激综合征(IBS)的准确率可接近99%。这听起来像是一项临床突破。已发表的证据所表明的范围更窄:6项异质性病例对照研究、共计1,366名参与者,且未在独立前瞻性队列中进行外部验证。
Bhagavathula等人于2025年发表的一项系统综述筛选了18,053条记录,仅发现6项符合其AI辅助IBS诊断标准的研究。这些研究使用了粪便微生物组数据、通过气相色谱法测得的挥发性化合物、神经影像学数据或蛋白酶活性。其报告的性能从中等到非常高不等,其中基于粪便微生物组的随机森林模型报告了最高的曲线下面积(AUC),最高达0.98至0.99。
这些数字描述的是早期模型开发实验,而非可供胃肠病诊所使用的诊断检测。这个区别并非吹毛求疵。它决定了一个模型是帮助患者,还是自信地把他们归入错误的类别。
99%这一数字实际衡量的是什么
全部6项IBS研究均采用病例对照设计。研究人员选取已被归类为患有IBS的人群,并与对照组比较,随后在来自该来源人群的数据中训练和测试模型。这可以回答一个有趣的技术问题:算法能否在这一数据集中找到区分这两组的模式?但它无法确立该模型是否适用于一位新患者——该患者可能有腹痛、正在用药、改变饮食、存在重叠疾病,且诊断尚不确定。
该综述发现,生物标志物、模型架构、方法和报告质量存在足够大的差异,因而无法在荟萃分析中合并这些结果。基于微生物组特征训练的随机森林,不能与基于脑影像数据训练的支持向量机或基于挥发性化合物训练的人工神经网络直接比较。该综述使用QUADAS-2、PROBAST-AI和TRIPOD-AI框架进行质量评估,发现存在显著的方法学变异,并呼吁采用标准化验证方案及开展前瞻性多中心研究。
在一个来源数据集中留出部分所得的AUC为0.99,并不意味着一项检测在真实世界中的诊断准确率为99%。
最重要的是,6项研究均未使用外部验证:即在一个单独收集的患者队列中测试完成的模型。这是检验模型是否学到了与IBS相关的信号,而非其原始数据集的习惯、实验室方法、当地人群或偶然特性所产生信号的基本检查。
小型数据集遇上高维生物学
这6项研究合计纳入1,366名参与者,平均每项研究约228人。对于基于高维生物标志物数据训练的模型而言,这一基础较为薄弱。微生物组测序可产生数百或数千项候选微生物特征。一个潜在输入数量远多于患者数量的模型可能会拟合噪声,尤其是在研究人员在小型数据集中反复调优模型时。
随机森林可以是有用的工具,但它们不会把有限样本变成大型样本。若无独立验证,一个引人注目的内部结果可能部分反映过拟合:模型学到了一个队列的微生物模式,其中包括与稳定IBS特征无关的特征。
地域因素带来了另一个问题。这些研究来自英国、中国和日本。微生物组组成在不同人群和日常饮食之间存在差异,因此在一个环境中开发的模型可能无法很好地迁移到另一个环境。该证据基础中的任何研究都未直接检验这一问题。
低FODMAP问题
微生物组研究推动了头条中的准确率数字,但微生物组对治疗也高度敏感。Chu等人于2025年发表的一项系统综述和荟萃分析纳入了10项随机对照试验、共590名参与者,发现与普通饮食相比,低FODMAP饮食改变了肠道微生物群指标。该综述报告了涉及双歧杆菌和阿克曼菌的变化,以及总体微生物丰富度降低。
这很重要,因为低FODMAP饮食是IBS常用的饮食干预措施。如果IBS患者在提供粪便样本前已改变饮食,算法可能会学习到饮食暴露或治疗反应的模式,并将其与IBS状态一同——而非单独——纳入判断。现有IBS AI研究在采集样本时未对饮食状态进行标准化或控制。
这并不能证明微生物组模型仅仅检测到了低FODMAP饮食。它指出了一个严重且尚未解决的混杂因素。一项前瞻性研究可以通过仔细记录饮食、在适当情况下纳入未经治疗的参与者,以及在独立人群中测试模型来解决这一问题。已发表的研究均未这样做。
为何患病率会改变临床问题
病例对照数据集通常包含大致均衡数量的病例和对照者。诊所并非如此。该综述描述,在相关临床背景下,IBS患病率约为10%至15%。即使敏感度和特异度保持不变,随着疾病患病率下降,阳性预测值也会下降。
设想一项假设性检测:在1,000人中使用时,10%患有IBS,该检测的敏感度为95%、特异度为95%。它会识别出100名IBS患者中的95人,但也会错误标记900名非IBS患者中的45人。约三分之一的阳性结果会是假阳性。该计算并非描述任何特定的IBS AI模型;它说明了为什么均衡数据集中的准确率不能替代具有临床相关性的验证。
Palmieri等人于2023年发表的一篇关于移植医学中AI和大数据应用的综述讨论了受控开发环境与真实世界性能之间更广泛的差距。这一教训可谨慎但直接地迁移:模型需要在临床医生计划使用它的场景中进行验证,并具有该场景的患病率、病例构成和工作流程。
IBS也缺乏明确的生物学参考标准
IBS仍然是一种由症状定义的诊断。AI研究使用Rome标准对病例进行分类,这正是模型理论上会补充或取代的同一临床框架。这造成了循环性问题。一个模型可以非常擅长复现基于Rome标准的标签,却不能证明它已发现了一种更准确的生物学诊断。
这一问题在其他AI诊断领域很常见。2023年一项关于用于胚胎选择的AI的系统综述发现了颇有前景的比较性能,但得出结论认为临床使用仍需要进一步验证。2022年一篇关于双相情感障碍机器学习的综述发现,生物学、临床和神经心理学模型之间存在显著异质性。这些疾病与IBS不同,但两个例子都说明了:当目标诊断缺乏单一确定性生物标志物时,要将令人印象深刻的开发指标转化为可靠的临床决策是困难的。
当任务具有稳定、定义明确的目标以及大量具代表性的数据时,AI的表现尤其出色。例如,Yan等人的基于CT的结核病系统处理的是一个结构化影像问题。IBS则不同:它是一种由症状定义的综合征,其候选生物标志物会随饮食和地域而变化,其参考标准是临床标准。
什么会使IBS AI检测具有可信度?
一项有用的研究应纳入因相关症状就诊的连续患者,记录饮食和治疗状态,预先规定模型,并在独立地点和人群中前瞻性地验证该模型。它应报告敏感度、特异度、阳性和阴性预测值、校准度,以及在现实患病率下假阳性和假阴性结果的后果。它还需要表明,该模型在仔细进行Rome标准评估及适当评估警示特征的基础上,能够改善一项对患者重要的决策。
目前,基于AI的IBS诊断是一个研究课题,而非临床工具。疑似IBS者应接受标准临床评估,结合具体情况使用Rome标准,并在症状或警示征象提示需要时进一步评估。结构化的低FODMAP试验可能对部分患者有帮助,但它也应使研究人员更加谨慎,不要将粪便微生物组视为固定的疾病指纹。当前文献包含的是6个试点数据集,而非证明某种算法能够在真实世界中诊断IBS的证据。
评论
暂无评论。来发布第一条评论吧!