本案例适合
1.人工智能（AI），计算机科学（CS），大数据（DS）
2.跨专业学习算法的同学，专业为生物信息工程，生命科学，医学统计学，医学
科研星级
创新性：⭐ ⭐ ⭐ ⭐ ⭐
工作量：⭐ ⭐ ⭐ ⭐ ⭐
数据集：⭐ ⭐ ⭐ ⭐ ⭐
本案例适用于医学样本数据不完整条件下的多因素关联性预测，机器学习模型自动化加大了科研工作创新量，白星花AI可在多种数据集上实现数据的深入挖掘，实现创新研究。
对公开数据集开展更多的数据分析。
如需用本AI算法结合您的医学数据进行研究，请关注我们并留言。
今天要为大家介绍的是一篇关于一致递归神经网络的三维神经元分割的文章，由哈佛和剑桥合作研究的新成果。
本文提出了一个递归网络的三维重建神经元，顺序生成二进制掩码的每个对象在图像的时空一致性。此网络模型在两个部分的一致性：①局部—允许探索无遮挡和时间相邻的双向递归对象关系。②非本地—允许探索长期对象关系在时间域跳跃连接。本文提出的网络从输入图像到目标掩码序列是端到端可训练的，并且，与依赖于目标边界的方法相比，它的输出不需要后处理。本文在神经元分割的三个基准上评估，并取得了最先进的性能。
背景
连接组学领域的目的是通过在单个突触水平上绘制神经连接来重建大脑的接线图。重建神经元的解剖结构和它们之间的突触连接，可以帮助神经科学家更好地了解大脑的结构和功能。电子显微镜(EM)技术的最新进展使每小时在纳米尺度上生成tb级的大脑图像成为可能。因此，需要高效、准确的神经元分割方法来处理这些图像。以前的方法通过多个步骤处理神经元分割。首先，利用卷积神经网络(CNN)预测神经元实例边界或亲缘关系；然后使用分水岭变换生成一个初始的3D过分割，其中部分进一步合并基于手工制作或学习的特征。然而，cnn是独立地应用在每个局部子卷上，没有任何邻近区域的形状信息。因此，当输入量中出现图像伪影或意外出现时，cnn会做出错误的预测，导致最终分割时合并和分割错误。
最新处理神经元分割视频的办法是将对象沿着3D图像体的z轴跟踪。此方法改善了通过循环神经网络模型学习空间特征的外观问题。但此方法计算昂贵。
在空间一致性方面，基于亲和的方法是一体学习的，而基于跟踪的方法是逐个学习的，不利用两两非遮挡关系。在推理过程的时间一致性方面，基于跟踪的方法只在前向和后向进行推理，没有长期一致性。因此，带有严重伪影的图像切片会导致分割失败。本文方法的灵感来自于时空递归的想法，其中对象是通过从参考框架传播掩码分割的。文中认为利用参考框架的语义对学习序列中的长期对象关系有好处。本文的目标是扩展空间和时间的递归，探索体量中物体之间的局部和非局部关系，连接破碎的片段，形成更完整的物体掩模。
由此本文提出了一个循环模型，该模型对输入图像体积进行顺序分析，以处理复杂的目标分布，并产生一致的预测。基于卷积LSTM创建了一个新的循环模块，作为网络的构建模块，来建模局部和非局部对象的一致性。给定一个标签映射，此模型可以在不进行后期处理的情况下分割多个对象。文中模型不需要中间表示，因此它的训练是以端到端的方式进行的。在3个数据集上的精度结果表明，此方法在SNEMI3D数据集上的三维神经元分割精度与目前最先进的方法相似，超过了人类的精度。
方法
1. 一致递归神经网络
本文提出了一个基于编码器-解码器架构的递归网络，如图（1），以解决神经元分割的任务。
图（1）
该网络将时空递归与ConvLSTM (CConvLSTM)模块结合在一起。该递归在空间域中配置，以表示框架中的对象实例，在时间域中配置，以表示框架。该模型的输入包括沿输入体z方向转化为图像序列的3D补丁和每个序列的单个标签地图。为了细化，每个序列都伴随一个带有初始目标掩码估计的信道。
2. 时空一致性模块
为了对对象一致性进行建模，引入了一个新的循环模块CConvLSTM，如图2，作为我们网络的构建模块。
图（2）
该模块通过组合两个ConvLSTM层来对本地对象一致性进行建模，这两个层分别处理正向和反向输入。两层的输出与引用隐藏状态进行卷积，实现对非局部对象一致性的建模。
因此，给定一个序列和一组从参照系r传播的对象，t帧对象o的keth CConvLSTM层输出h，计算为，如图（3）:
图（3）
3. 编码路径编码器
编码器学习提取特征，f = {ft, ft+1, ft+2, ft+3, J、ft+4}，从一个对应于Resnet块输出的RGB图像E Rhxwx3。Ft对应最深的块的输出，Ft +4对应输入为图像的块的输出。利用卷积运算从每个块中提取特征。
4. 解码路径解码器
如图1 (b)中深蓝色部分所示，是CConvLSTM的层次化循环架构，利用了输入特征f和标签映射lt的不同分辨率。标签映射通过一系列降采样操作提取，对应于特征f的分辨率，如图1 (b)中蓝色部分所示。
图（1）
每个CConvLSTM的输出随后与相应的编码器特征和对象掩码合并，这使得解码器可以重用低级特征并细化最终的分割。解码器在链中应用方程4来计算cconvlstm的数量。解码器的输出是每个图像的M个预测集合。M是传播对象的数量，并且每个序列总是恒定的，以确保一个对象掩码在后续帧中消失时为空。常数M也保证了预测的掩码在时间域与空间递归的一致性。
5. 实现细节
由于传播对象的数量总是等于预测对象的数量，通过使用软相交优于联合的匈牙利算法，优化目标函数来估计模型的参数。如图（4）
图（4）
网络使用Adam优化器进行训练，学习率为10，。对于早期的10个时代，上一帧物体的地面真实掩码作为CConvLSTM的额外输入通道。在剩下的30个epoch中，对象的推断掩码用于微调模型，从而允许模型学习修复推断时可能发生的错误。训练在一台12GB RAM的NVIDIA Titan X GPU上进行了24小时。
实验
1. 设置
通过对来自不同物种的三个EM数据集的实验来评估文中方法的有效性，如表(1)所示。
表（1）
每个数据集的体素(c, y, z)维度分别为:(1024x 1024x 100)、(500 x 500 x 500)和(1024x 1024x 105)，分别为SNEMI、FIBSEM和FIBER。FIBER数据集是内部生成的，FIBSEM是公共的，而SNEMI是SNEMI挑战的基准。
此基线模型实现了时空(ST)递归。文中考虑了三种选择来分析一致性的重要性:①局部一致性模型STL(不使用非局部一致性)，②非局部一致性模型STN(不使用局部一致性)，③组合模型STC(同时使用局部和非局部一致性)。将最佳模型与SNEMI挑战排行榜和基于亲和力的模型waterz进行比较。在推断过程中，以重叠的方式处理输入的3D体块，从标记帧开始。第一帧的分割用其对应的ground truth进行初始化。分水岭变换输出用于初始化第一帧对不存在ground-truth的卷的分割。使用Adaptive Rand Index (ARI)来分析结果，该指标用于SNEMI挑战以保持一致。ARI衡量两个数据集群之间的相似性。误差定义为1减去Rand指数的最大f值。ARI得分越低，分割质量越好。
2. 结果
在图(5)中，展示了a中的ST和STC模型对15个物体的分割验证序列与地面真相比较。
图（5）
如白色圆圈所示，传播当不使用一致性时。这些观察结果被定量评价进一步证实，如表(2)所示。
表（2）
非局部一致性模型(STN)更快，更好地连接远段，当与局部一致性结合时，产生最小的ARI值
为了与最先进的方法进行公平的比较，从与waterz方法相同的分水岭输出开始。在图(6)中，用红色圆圈突出显示了waterz方法中的误差通过我们的时空一致性来解决。
图（6）
虽然此方法对分割破坏是稳健的，但如果分水岭是不好的，一些工件可能不能完全纠正，如黑色显示。此时在应用文中的模型之前，对分水岭进行微调是一种替代解决方案。在表(3)中，将最佳模型STC与SNEMI3D挑战排行榜进行了比较。
表（3）
该方法获得了0.035的ARI评分，超过了人类的准确率，是目前较为理想的方法；rently排名第三，仅次于PNI和FNN。此方法在所有三个数据集上也始终优于waterz方法。文中将这种方法的优势归功于它学习长期对象关系的能力，这对连接组数据至关重要。在SNEMI数据集上的推断时间方面，文中的方法需要660秒。
结论
文中提出的循环模型学习处理复杂的对象分布在长序列，并产生彼此一致的片段。通过端训练模型，消除了可能引入错误的中间表示，比如基于亲和力的方法。文中的模型也适用于由用户驱动对象传播的交互式分割。因此，可计划将文中的模型用于神经元的校对，以帮助纠正自动分割错误。
