利用人工智能改进医学图像处理

机器学习正在与医学图像处理相结合，这是医学诊断和手术中最有用的技术之一，极大地扩展了从扫描或MRI中收集到的有用信息的数量。

在大多数情况下，毫升正在被用于增强医疗人员目前使用的手动流程。虽然我们的目标是将其中许多功能自动化，但目前尚不清楚这将在临床应用中多快实现。自动化医疗诊断仍然是一个新领域，如今它掌握在初创公司和大学研究人员手中。然而，预计它将迅速增长。事实上，IDTechEx预测，基于人工智能的图像医学诊断将是一个大行业，到2030年，在癌症、心血管、呼吸系统、视网膜和神经退行性疾病五个领域将超过30亿美元。

图像处理已经在医疗领域应用了几十年，但从这些设备中获得的数据类型仅限于手动检查结果。“很多DSP和信号处理技术已经在医疗领域找到了很好的归宿，但它们主要是关于捕捉图像，并能够以数字方式存储它们，”该公司营销总监萨姆·富勒(Sam Fuller)说Flex Logix．

图像处理是摄取和分类2D, 3D，甚至4D数字图像，这些图像由数组中不同强度的像素组成。这些图像来自各种图像或医学成像系统，如MRI、CT、micro-CT或FIB-SEM扫描仪。图像可以增强，并经过形态学和分割过程，例如，将图像的部分识别并标记为身体部分。然后，生成的数据和图像可以通过经过训练的机器学习算法来查找感兴趣的区域。

训练有素的放射科医生会阅读这些图像，无论是否有图像处理系统的帮助。再加上机器学习，他们可以更快地确定感兴趣的区域，并将以前和将来的图像数据关联起来。而这仅仅是个开始。

3D打印医疗，外科指南
例如，Simpleware软件(Synopsys于2016年收购)正在临床和教育环境中使用，用于制作特定于单个人的身体部位的3D打印模型。“我们从图像到模型，”生物医学工程师、微软公司Simpleware产品组的业务开发经理克里姆·根克(Kerim Genc)说Synopsys对此．

该软件从MRI、CT、micro-CT等扫描源获取3D和4D医学图像数据(DICOM)，并对图像数据进行清理。然后它对图像进行分割，以获得特定的解剖结构。

Genc说:“我们进行训练，而且是非常轻量级的。“这可以在本地的任何笔记本电脑或个人电脑上完成。我们做了所有的培训，我们做了所有的推理，并可以在客户那里部署。3D是你通常得到的。例如，4D是指你可以对跳动的心脏进行扫描。所以它不仅在三维空间中，而且在时间上。”

这些图像来自临床扫描。分割是将扫描的堆栈放在一个3D数字模型中的过程。Simpleware软件比人类技术人员做得更快，而且没有重型人工智能加速器。它的软件运行在桌面计算机的GPU上。该过程生成一个可用于3D打印或导入CAD和CAE程序的文件。

“你可以做一些事情，比如进行术前虚拟测量，进行虚拟手术计划，”Genc说。“你可以在外科医生真正去看病人之前为他们制定计划。”3D模型可以进行即时护理(POC) 3D打印——在医院或诊所打印3D模型，以获得患者解剖结构的物理模型，用于术前规划、培训和教育。“例如，如果你需要在病人的骨头上安装一个钢板，通常外科医生会做的是，他们会进去，打开病人，然后把它安装在病人身上。有了3D打印技术，你就可以提前完成这些工作。”

了解何时获得监管机构的批准可能会变得复杂。当临床医生依靠模型的准确性来做出临床决策时，软件需要食品及药物管理局(501)K在美国特殊用途的许可。Synopsys通过其Simpleware ScanIP医疗软件获得了FDA和CE(欧洲)的许可，但它也可以为研究、教育和部件设计提供非FDA批准的版本。

他指出:“这些人工智能工具没有获得fda的批准。“这是一个不同的过程。”

诊断中的图像处理
使用人工智能图像处理进行诊断是下一个重要步骤，它有望加快疾病诊断。但对于基于人工智能的诊断系统来说，这仍处于早期阶段。Flex Logix的Fuller说:“现在人工智能的出现使人们能够理解图像，或者能够开始减轻放射科医生等医务人员的负担，使他们更有效率。”

利用人工智能算法进行图像处理，可以解释图像并给出诊断——或者至少是暗示诊断——已经引起了很大的兴趣。医疗客户正在关注人工智能加速器。“医疗保健/医疗领域的人工智能是正在增长的最强大的人工智能领域之一，每个人都在跳上这列火车，”医疗保健和科学主管Subh Bhattacharya说赛灵思公司．

影像处理是医学诊断的重要工具。“这是我们的利基市场，”Flex Logix的销售和营销副总裁达纳·麦卡蒂(Dana McCarty)说。该公司正在开发一款边缘人工智能推断加速器InferX X1，以及编译器和其他支持选项。“我们非常专注于高清实时图像处理。我们已经开发了我们的芯片来优化这个空间——机器视觉，计算机视觉类型的东西。”

有很多工作正在进行中，以训练和改进这些应用程序中使用的算法。Flex Logix的Fuller表示:“将其转化为产品，这是我们可以提供很多帮助的地方。“如果算法存在，培训就已经发生了，但你希望将其构建成健壮且具有成本效益的东西。这就是整个服务的意义所在，因为科学开发转化为工程产品是一个仍然需要完成的过程。”

图1:AI图像处理推断芯片InferX X1使用动态TPU阵列。来源:Flex Logix

许多芯片制造商认为这是一个巨大的市场机会。Xilinx的巴塔查里亚表示:“我们的产品在实现推理目的的人工智能算法方面非常出色，非常有用。”“简而言之，原因在于专用AI处理器模块、软件堆栈的可用性，以及对流行网络和模型的支持。我们也有开源的参考设计。在今天的医疗保健行业中，有非常雄心勃勃的任务，从解剖几何测量到癌症检测，再到放射学、外科、药物发现和基因组学。目前大多数应用都围绕着医学影像的某种诊断辅助，而不是实际的诊断或程序。这是为了加快琐碎的工作，提高准确性和效率。”

Xilinx创建了一个x射线分类推理引擎，使用其基于Zynq UltraScale+ mpsoc的SOM平台来检测和分类正常、肺炎和covid - 19。该引擎可作为边缘设备部署，并可独立运行推理。

推理的兴趣
许多客户要求类似的推理任务。Flex Logix的McCarty经常看到三个不同的部分。其中包括:

• 图像去噪。清理初始图像。3D图像处理使用图像滤波来去除或减少图像中不需要的噪声或伪影。“这是一个模拟图像转换成数字图像，所以你要清理它，”麦卡蒂说。“我们的客户表示，这让用户更容易看到图像。一旦清理干净，放射科医生识别图像的速度可以提高五倍。”噪声会使数字图像很难读取。“如果有人做了髋关节植入手术，他们做了CT扫描，各种各样的噪音都会进入图像数据中。它看起来就像一颗明亮的白色恒星，发出类似的光线。”
• 对象检测。突出显示图像中的不同之处，机器学习推理可以提供在哪里寻找的提示。“在清理图像后，他们会对图像进行物体检测，”麦卡蒂说。“当他们强调这一点，让别人能够看到并说，‘去看看这个区域，’或‘是的，这是一个问题’时，速度最多可以快三倍。”
• 姿态估计。“这个我们才刚刚开始。你步态的变化可以为潜在用户提供医疗数据。”“在体育运动中，这只是非常初步的研究，我们正在与医疗机构讨论步态的变化，以及这对运动员意味着什么。”

人工智能在医学图像中的另一个目标是器官分割。很难对心脏进行分割。Synopsys的Genc说:“这是一个移动的器官，它是基于客户在内部进行的工作。”“我们说，‘好吧，这将是一个自动化这个过程的好产品，因为它非常困难和耗时。对于一个新手来说，可能要花好几天才能分段。即使是专家，分割心脏也需要半天到一整天的时间。所以自动化是非常重要的。我们已经完成了40多项自动化操作。你可以看到心脏在跳动，这真的很酷。”

走出舒适区
但是图像处理中的机器学习并不总是一成不变的。即使训练数据集非常好，它也会出现错误。人类会犯错，但当机器犯错时，这是一个更大的问题。富勒说:“我们的期望不同。

因此，尽管能力有所提高，但在医疗领域往往会格外谨慎。Genc说:“我们一直远离的一件事是任何诊断人工智能。”他特别提到了Synopsys公司的Simpleware产品，该产品为医生做某些手术提供指南。“我们只是远离诊断人工智能——这真的是狂野的西部。这就是很多算法出现的地方。谷歌已准备好。这些公司得到了数据集。但是如何验证它们呢?你是如何组织它们的?它看起来仍然相当分散，而且还有很多问题，比如，‘这真的有用吗?我们如何纠正它?’ You’ll see a lot of articles like that coming out, so we just kind of stay out of that space because it’s a very much, ‘Does this person have cancer, yes or no?’ It is a big responsibility to put on an AI tool.”

图2:从图像中创建模型。来源:Synopsys对此

结论
即使使用图像处理的自动化诊断还很遥远，但机器学习和人工智能系统仍在为医疗保健的其他领域设计，例如电子健康记录(EHR)。在一些研究中，电子病历正在以有限的方式被挖掘，以寻找可能导致更好的癌症检测和治疗的线索，特别是如果DNA信息是记录的一部分。

“医疗保健行业正在迅速发展，变得更加数字化，特别是在COVID-19大流行期间，远程咨询变得更加普遍，”该公司医疗保健技术总监Peter Ferguson说手臂．“作为这一发展的一部分，许多国家已经采用了患者记录的电子存储，并能够使用这些信息帮助更快、更有效地治疗患者——例如，使用人工智能帮助对病历中的x光图像或CT扫描等信息进行分类。这会产生大量的数据。据估计，一个病人每年产生近80mb的成像和电子医疗记录。”

现在的问题是，这些数据还能做些什么，哪些公司愿意尝试。

相关的
更简单、更快速地训练人工智能
更简单的方法是必要的，以跟上不断发展的模型和新的应用程序。
ic在医疗保健领域的财富不断增长
尽管最初采用速度较慢，但用于各种设备的芯片设计正在逐渐增多。
新利18官网在线
医疗设备设计人员面临的挑战，以及EDA如何提供帮助。
开发新型推理芯片的挑战
设计、开发、测试和修改边缘加速器IC所涉及的内容。