医学人工智能爱好者
Compressed Sensing Playground
Deep Learning Reconstruction 
深度学习重建
近几年,在医学领域,深度学习、人工智能等词汇热度都很高。很多厂商都在如火如荼的用深度神经网络进行影像诊断。其实,深度神经网络也可以用于影像图像的重建,对于很多欠采样的图像,除了可以通过我们传统并行采集、压缩感知等技术重建图像外,机器学习,特别是深度神经网络其实也可以获得不错的结果。 

2020年春节期间,新冠疫情爆发,我在家里尝试着训练了一个深度学习模型来对欠采样的磁共振图像进行重建,发现效果不错。于是,就基于这个训练的模型写了一个重建欠采样磁共振图像的小软件。 

 大家可以载入医学DICOM标准图像,使用不同的参数,对原始图像、稀疏采样图像和重建图像进行对比观察,从而获得对深度学习技术重建磁共振图像最直观的认识。

描述
● 打开一个DICOM文件,点击“重建”按钮。
 
● 注意: 
1.该软件只是为了研究深度神经网络重建原理及实现,而编写的简单软件,不是一个真正的生产力工具。 

2.由于算力和数据的限制,我只训练了一个粗糙的磁共振头部T1的深度学习重建模型。(算力:普通笔记本电脑,CPU:Intel Core i5 8350U, 没有GPU,训练了约24小时,模型并没有得到最优化。训练数据:是256x256矩阵的磁共振头部T1横断位图像,总计40张。训练图像K空间中心全采样16条线数据,K空间外周随机采样30%的数据。) 

3.虽然只是一个粗糙的模型。相对于传统的并行采集和压缩感知等技术,用于重建头部T1对比的图像(压缩包里有测试DICOM图像)有着明显的优势。

● 深度学习重建的问题 
1. 深度学习重建对训练集图像数据特别敏感(训练集数据:建立模型时,给计算机用于学习的图像数据)即:如果用于重建的DICOM图像是计算机建立模型时没有见过的解剖部位、对比权重甚至数值分布,重建的效果会非常差。 

2.深度学习重建对数据的采样方式和比例也非常敏感。即:如果用户重建的DICOM图像的中心采样及周围采样比例与建立模型时,用于学习的图像的采样比例差距较大,重建效果也会变差。

3.如果在算力足够,图像数据足够的情况下,深度学习重建的效果会如何?我自己没有尝试过,从个人的直觉来看,随着图像数据的增多,模型的泛化性可能会提升,但是对于采样率低的图像重建效果可能会变差,也就是说加速效果会打折扣。
描述
简单入门
● 下载ZIP软件包,解压缩
● 无需安装,直接运行DL-Recon.exe  
安装
描述
1.图像放大:图像右侧(1/5区域),按下鼠标左键,上下移动。 

2.图像移动:图像右下角,按下鼠标左键,上下左右移动。 

3.调整对比:图像左侧(4/5区域),按下鼠标左键,上下左右移动。 

4.中心完全采样(N条线):K空间中心有多少条线的数据是完全采样的。比例越高,重建图像越清晰。

5.周边稀疏采样(百分比):除去K空间中心完全采样的数据外,百分之多少进行随机采样。比例越高,重建图像越清晰。

6.通过调整中心、周边采样比例。我们可以看到,随机采样所产生的图像伪影和传统的并行采集产生的类卷折伪影不一样,呈现一种云雾状。


详细说明