自我监督学习改变了医学成像的游戏规则

洒脱人生
精选回答

2022年1月12日整理发布:深度学习在医疗保健领域显示出很多希望,尤其是在医学成像领域,它可以帮助提高诊断患者状况的速度和准确性。但它也面临一个严重的障碍:标记训练数据的短缺。

在医疗环境中,训练数据的成本很高,这使得在许多应用中使用深度学习变得非常困难。

为了克服这一障碍,科学家们探索了不同程度的成功解决方案。在一篇新论文中,谷歌的人工智能研究人员提出了一种新技术,该技术使用自我监督学习来训练医学成像的深度学习模型。早期结果表明,该技术可以减少对注释数据的需求,并提高深度学习模型在医学应用中的性能。

监督预训练

卷积神经网络(CNN) 已被证明在计算机视觉任务中非常有效。谷歌是一直在探索将其用于医学成像的几个组织之一。近年来,该公司的研究部门在眼科、皮肤科、乳房X线照相术和病理学等领域建立了多个医学影像模型。

“将深度学习应用于健康有很多令人兴奋的事情,但它仍然具有挑战性,因为在医疗保健等领域需要高度准确和强大的 DL 模型,”Google Research 的 AI 居民、自我监督的主要作者 Shekoofeh Azizi纸,告诉TechTalks。

深度学习的主要挑战之一是需要大量带注释的数据。大型神经网络需要数百万个标记示例才能达到最佳精度。在医疗环境中,数据标记是一项复杂且成本高昂的工作。

“由于多种原因,在医疗环境中获取这些‘标签’具有挑战性:对于临床专家而言,这可能既耗时又昂贵,而且数据在共享之前必须满足相关的隐私要求,”Azizi 说。

在某些情况下,示例很少开始,而在其他情况下,例如乳腺癌筛查,在拍摄医学图像后,临床结果可能需要很多年才能显现出来。

Azizi 补充说,使医学成像应用的数据需求更加复杂的是训练数据和部署环境之间的分布变化,例如患者群体、疾病流行或表现以及用于成像采集的医疗技术的变化。

解决医疗数据短缺的一种流行方法是使用监督预训练。在这种方法中,CNN 最初是在标记图像数据集(如 ImageNet)上训练的。此阶段将模型层的参数调整为在各种图像中发现的一般模式。然后可以针对目标任务在有限的一组标记示例上对训练后的深度学习模型进行微调。

几项研究表明,有监督的预训练有助于医学成像等标记数据稀缺的应用。然而,有监督的预训练也有其局限性。

“训练医学成像模型的常见范例是迁移学习,其中模型首先使用ImageNet 上的监督学习进行预训练。然而,ImageNet 中的自然图像和医学图像之间存在很大的域转移,之前的研究表明,ImageNet 上的这种监督预训练可能不是开发医学成像模型的最佳选择,”Azizi 说。

自我监督的预训练

近年来,自我监督学习已成为一个有前途的研究领域。在自我监督学习中,深度学习模型无需标签即可学习训练数据的表示。如果做得好,自监督学习在标记数据稀缺而未标记数据丰富的领域中具有很大的优势。

在医疗环境之外,谷歌已经开发了几种自我监督学习技术来训练用于计算机视觉任务的神经网络。其中包括在 ICML 2020 会议上提出的对比学习简单框架 ( SimCLR )。对比学习使用同一图像的不同裁剪和变体来训练神经网络,直到它学习到对变化具有鲁棒性的表示。

在他们的新工作中,谷歌研究团队使用了 SimCLR 框架的一种变体,称为多实例对比学习 (MICLe),它通过使用相同条件的多个图像来学习更强的表示。这在医学数据集中通常是这种情况,其中有同一患者的多张图像,尽管这些图像可能没有为监督学习进行注释。

“未标记的数据通常在各个医学领域大量可用。一个重要的区别是,我们利用医学成像数据集中常见的潜在病理学的多个视图来构建图像对以进行对比自我监督学习,”Azizi 说。

当自监督深度学习模型在同一目标的不同视角上进行训练时,它会学习到更多的表示,这些表示对视点、成像条件和其他可能对其性能产生负面影响的因素的变化更加鲁棒。

多实例对比学习

谷歌研究人员使用的自我监督学习框架涉及三个步骤。首先,目标神经网络使用 SimCLR 在 ImageNet 数据集中的示例上进行训练。接下来,使用 MICLe 对每个患者有多个图像的医疗数据集进一步训练该模型。最后,该模型在目标应用程序的有限标记图像数据集上进行微调。

医学成像的自我监督预训练

研究人员在两项皮肤病学和胸部 X 光解读任务上测试了该框架。与有监督的预训练相比,自监督方法在医学成像模型的准确性、标签效率和分布外泛化方面提供了显着的改进,这对于临床应用尤为重要。而且它需要更少的标记数据。

“使用自我监督学习,我们表明我们可以显着减少对昂贵的注释数据的需求来构建医学图像分类模型,”Azizi 说。特别是,在皮肤病学任务中,他们能够训练神经网络以匹配基线模型性能,同时仅使用五分之一的注释数据。

“这有望为开发医疗 AI 模型节省大量成本和时间。我们希望这种方法能够激发对获取注释数据一直具有挑战性的新医疗保健应用的探索,”Azizi 说。

向前冲 2023-08-18 13:27:40

相关推荐

艺考生集训注意事项 有什么要了解知道的

艺术生集训不要忽略了文化课,作为艺术生必须要做到文化课和专业课双赢,才能被心中理想大学录取,在这期间需要付出很大的努力。文化课也是非常重要的,不要忽略文化课,要一直学习专业课。艺考生集训注意什么学会针对性强化技...
展开详情

投档会参考学考成绩吗 学考成绩有什么用

将成绩符合的学生的档案投给招生院校。这就是投档,投档不参考于学生的其他条件,只参考他的总成绩和志愿。而根据学校的调档比例省教育考试院确定他的投档比例,只要学生的档案被投档,决定他是否被录取的因素就会包含他的学考...
展开详情

提高生物成绩的方法是什么 窍门有哪些

即通过分析教材,找出要点,将知识简化成有规律的几个字来帮助生物知识记忆。例如DNA的分子结构可简化为“五四三二一”,即五种基本元素、四种基本单位、每种基本单位有三种基本物质、很多基本单位形成两条脱氧核酸链、成为...
展开详情

艺术生集训注意事项有哪些 需要注意什么

艺术生在集训的时候也要同步文化课学习,夯实文化基础。考生在专业课集训期间,文化课千万不要丢,专业课和文化课的学习一定要兼顾。艺术生集训的注意事项一定要选择一个靠谱的培训学校。因为一个好的培训学校,懂得怎么以最快...
展开详情

艺术生什么时候集训好 有必要去集训吗

艺术生集训指的是艺术类学生在完成学业水平测试之后,由学校或自己向学校申请,暂时停掉学校的文化课,到专业的艺术培训学校进行封闭式训练,直到校考结束。美术生集训时间美术生集训,通常从高二下学期开始,5月份开始报名,...
展开详情

精选推荐更多>

霍尔系数计算公式

霍尔系数计算公式:η=G/nF。霍尔效应(Halleffect)是指当固体导体放置在一个磁场内,且有电流通过时,导体内的电荷载子受到洛伦兹力而偏向一边,继而产生电压(霍尔电压)的现象。电压所引致的电场力会平衡洛伦兹力。
科学上把单位时间里通过导体任一横截面的电量叫做电流强度,简称电流,电流符号为I,单位是安培(A),简称“安”(安德烈·玛丽·安培,1775年—1836年,法国物理学家、化学家,在电磁作用方面的研究成就卓著,对数学和物理也有贡献。电流的国际单位安培即以其姓氏命名)。

立冬喝茶的诗句

立冬喝茶的诗句:
1、《寒夜》宋代杜耒:
寒夜客来茶当酒,竹炉汤沸火初红。
寻常一样窗前月,才有梅花便不同。
2、《暮雪》清代大须:
日夕北风紧,寒林噤暮鸦。
是谁谈佛法,真个坠天花。
呵笔难临帖,敲床且煮茶。
禅关堪早闭,应少客停车。
3、《和翁灵舒冬日书事》宋代徐照:
石缝敲冰水,凌寒自煮茶。
梅迟思闰月,梅远误春花。
贫喜田新长,吟令鬓已华。
城中寻小屋,岁晚欲移家。
4、《晚起》唐代白居易
烂熳朝眠后,频伸晚起时。暖炉生火早,寒镜裹头迟。
融雪煎香茗,调酥煮乳糜。慵馋还自哂,快活亦谁知。
酒性温无毒,琴声淡不悲。荣公三乐外,仍弄小男儿。
5、《春日山中对雪有作》唐代杜荀鹤:
竹树无声或有声,霏霏漠漠散还凝。
岭梅谢后重妆蕊,岩水铺来却结冰。
牢系鹿儿防猎客,满添茶鼎候吟僧。
好将膏雨同功力,松径莓苔又一层。

希腊神话中,谁是最高神?

“宙斯”是古希腊神话中的众神之王。宙斯是古希腊神话中的第三代神王,统治世间万物至高无上的天神,奥林匹斯十二主神之首。是希腊神话中最伟大的神。罗马神话中对应宙斯的神祇是朱庇特(Jupiter或Jove)。
宙斯被称为“众神之王”或“奥林匹斯之王”,同时也是天空与雷电之神。当他心情好的时候,天上就阳光明媚、晴空万里。当他愤怒时,天空就会乌云密布、电闪雷鸣。
因为古希腊人及罗马人崇拜宙斯,因此在神话里将宙斯说成是自己的祖先,奥林匹斯的许多神祇和许多希腊英雄都是他和不同女子生下的子女。他以雷电为武器,维持着天地间的秩序,公牛和鹰是他的标志。他的两个兄弟波塞冬和哈迪斯分别掌管海洋和冥界。宙斯守护的星座是射手座。

辛弃疾名字的由来

辛弃疾名字的由来:辛弃疾的祖父辛赞希望他成为大将之才,很崇拜西汉的名将霍去病,所以就给他取名叫“弃疾”。辛弃疾从小就习武练剑,饱读诗书,也一直把霍去病当成了自己的偶像。

人物简介:

辛弃疾(1140年5月28日-1207年10月3日),原字坦夫,后改字幼安,中年后别号稼轩,山东东路济南府历城县(今山东省济南市历城区)人。南宋官员、将领、文学家,豪放派词人,有“词中之龙”之称。与苏轼合称“苏辛”,与李清照并称“济南二安”。

出生时山东已为金人所占,早年与党怀英齐名北方,号称“辛党”。青年时参与耿京起义,擒杀叛徒张安国,回归南宋,献《美芹十论》《九议》等,条陈战守之策。先后在江西、湖南、福建等地为守臣,平定荆南茶商赖文政起事,又力排众议,创制飞虎军,以稳定湖湘地区。由于他与当政的主和派政见不合,故而屡遭劾奏,数次起落,最终退隐山居。开禧北伐前后,宰臣韩侂胄接连起用辛弃疾知绍兴、镇江二府,并征他入朝任枢密都承旨等官,均遭辞免。开禧三年(1207年),辛弃疾抱憾病逝,享年六十八岁。宋恭帝时获赠少师,谥号“忠敏”。

辛弃疾一生以恢复为志,以功业自许,却命运多舛,壮志难酬。但他始终没有动摇恢复中原的信念,而是把满腔激情和对国家兴亡、民族命运的关切、忧虑,全部寄寓于词作之中。其词艺术风格多样,以豪放为主,风格沉雄豪迈又不乏细腻柔媚之处,题材广阔又善化用典故入词,抒写力图恢复国家统一的爱国热情,倾诉壮志难酬的悲愤,对当时执政者的屈辱求和颇多谴责,也有不少吟咏祖国河山的作品。现存词六百多首,有《稼轩长短句》等传世。

主要影响:

一、文学:

1、词:

辛词现存六百多首,是两宋存词最多的作家。其词多以国家、民族的现实问题为题材,抒发慷慨激昂的爱国之情。辛词以其内容上的爱国思想,艺术上有创新精神,在文学史上产生了巨大影响。与辛弃疾以词唱和的陈亮、刘过等,或稍后的刘克庄、刘辰翁等,都与他的创作倾向相近,形成了南宋中叶以后声势浩大的爱国词派。后世每当国家、民族危急之时,不少作家从辛词中汲取精神上的鼓舞力量。

2、诗:

辛弃疾的诗,据辛启泰所辑《稼轩集抄存》收诗111首。邓广铭辑校《辛稼轩诗文抄存》清除误收,增补遗漏,得诗124首。其后,孔凡礼的《辛稼轩诗词补辑》又新补诗19首。现存辛诗,共133首。辛诗从各个不同的侧面,反映了作者的生活和思想情感,可与其词相证,其中《送别湖南部曲》,自写政治遭遇,可与《鹧鸪天·壮岁旌旗拥万夫》对读;“有时思到难思处,拍碎栏干人不知”(《鹤鸣亭绝句》),感叹英雄失意,也与《水龙吟·登建康赏心亭》合拍,而“竹杖芒鞋看瀑回,暮年筋力倦崔嵬”《同杜叔高祝彦集观天保庵瀑布主人留饮两日且约牡丹之饮》),与《鹧鸪天·鹅湖归病起作》合拍。正是置闲期间所反复咏吟的歌词题材。“剩喜风情筋力在,尚能诗似鲍参军”(《和任师见寄之韵》),辛弃疾以鲍照自许。他的诗风格俊逸,在当时“江西”“江湖”两派之外,自有掉臂游行之致。而且,他的某些抗战诗,悲壮雄迈,也未必在其抗战词之下,但是,辛弃疾毕竟是以词之余作诗,其诗作成就,自然无法与词相比拟。

3、文:

除去诗词方面的成就之外,辛弃疾的文笔势磅礴,充满豪情,颇为值得称道。辛弃疾的文,据邓广铭所辑,计17篇其中除几篇启札和祭文外,多为奏硫。这类奏疏,在一定程度上揭示了当时所存在的尖锐的民族矛盾和阶级矛盾,较为深刻地反映了社会现实;并系统地陈述了辛弃疾对于抗金、恢复事业的见解及谋略,充分体现了他经纶天下的“英雄之オ”和“刚大之气”。辛弃疾曾明确宣称:“论天下之事者主乎气。”(《九议》其二)辛弃疾其文,犹如其人,世充满着虎虎生气。所谓“笔势浩落,智略辐湊,有权书衡论之风”(《后村先生大全集》卷九十八),正体现了辛文的特色。后人视他为南宋时期政论文的大手笔,只是为词名所掩,不为人熟知。

二、书法:

辛弃疾有《去国帖》,今藏故宫博物院。纸本,行书十行,为酬应类信札。末署“宣教郎新除秘阁修撰权江南西路提点刑狱公事辛弃疾札子”。中锋用笔,点画规矩,书写流畅自如,于圆润爽丽中不失挺拔方正之气象。

《去国帖》曾经过元人赵孟頫,明人黄琳、项元沛及清人永瑆等鉴藏,《书画鉴影》著录。

三、军事:

1、军事活动:

辛弃疾不仅是词中高手,同时还是一个不可多得的将帅之才,为将,可冲锋陷阵,有万军之中勇擒张安国之壮举;为帅,可指挥若定,有一月平定茶商军之功绩。

辛弃疾曾提出大规模跨海登陆作战,这种登陆作战是与陆地进攻相配合的。他的这一构想,富有军事创意,他自己说这与当年楚汉战争时韩信绕过中原、直取齐地,有异曲同工之效。

2、军事思想:

辛弃疾的军事理论主要体现在《美芹十论》中。《美芹十论》又名《御戎十论》,是辛弃疾的一篇军事政论文。该书从第一论以至于第十论,无一不是精辟之论,有着很高的研究价值。同时,这也是一部很好的军事论著,陈述抗金救国、收复失地、统一中国的大计。在辛弃疾向宋孝宗进献《美芹十论》后,后人将“美芹”作为忧国忧民、悲国家之颠覆的代名。《美芹十论》分为十个篇章,分别为《审势》《察情》《观衅》《自治》《守淮》《致勇》《防微》《久任》《详战》,详细构建了从精神到物质再到军队管理的治国策略,陈述任人用兵之道。最后一步步地向孝宗展现了南宋进攻金国的战略构想,系统地表现了辛弃疾高瞻远瞩的战略方针与远见卓识,足以体现其军事战略水平与军事谋略。

常见热点问答
热点搜索
1-20
21-40
41-60
61-80
81-100
101-120
121-140
141-160
161-180
181-200
作文大全
1-20
21-40
41-60
61-80
81-100
101-120
121-140
141-160
161-180
181-200