原标题:学界 新型实时形义分割网络ShuffleSeg：可用于嵌入式设备 选自arXiv 作者：

　　表现优良的卷积神经网络往往需要大量计算，这在移动和嵌入式设备以及实时应用上是一个很不利的因素。近日，开罗大学和阿尔伯塔大学的研究者提出了一种能实现实时形义分割的框架 ShuffleSeg。这种方法能在分割准确度的同时显著降低对计算资源的需求。机器在本文中对该项目进行了简要编译介绍，相关研究的 TensorFlow 代码已发布在 GitHub 上。

　　构建计算高效的卷积神经网络（CNN）仍然还是一个悬而未决的研究问题。在提升 CNN 的计算效率方面存在两种主要机制。第一种机制侧重于设计高效的模型，比如 GoogleNet、Xception、MobileNet 和近期的 ShuffleNet。另一种机制则是针对模型加速，具体方法包括对网络连接或通道进行剪枝或进行网络量化（network quantization）。之前在提升计算效率方面的研究主要侧重于图像分类和目标检测等最终任务。但以实时形义分割网络为目标的研究很少，尽管形义分割在机器人相关的应用中有许多益处。对计算高效的形义分割的需求是很显著的。

　　我们在本论文中提出了一种实时的形义分割网络，该网络基于 it 中提出的 ShuffleNet 单元。我们在本论文中将其称为 ShuffleSeg。ShuffleSeg 在其解码器中集成了 skip 连接来改善分割结果。我们的网络需要 2.03 GFLOPs，在计算效率上的表现优于之前最佳的需要 3.83 GFLOPs 的分割网络。尽管如此，ShuffleSeg 还是在 CityScapes 测试集基准上实现了可与最佳表现媲美的平均交并比（IoU）——58.2%。因此，我们的网络在速度和准确度之间实现了很好的平衡。这有望实现在嵌入式设备中的进一步部署应用。

　　就我们所知，之前在实时形义分割上的研究都没有利用分组卷积和通道混洗（channel shuffling）。我们在本研究中提出的 ShuffleSeg 是一种计算高效的分割网络。该网络的设计灵感源自 ShuffleNet，这是一种高效的分类和检测网络。ShuffleNet 单元使用了分组卷积来提升性能，而没有使用 1x1 卷积。只使用分组卷积对网络准确度不利，所以我们还使用了通道混洗来维持优良的准确度。这与 skip 架构组合在一起，可通过使用更高分辨率的特征图来改善我们的分割结果。ShuffleSeg 的代码将会公开发布。

　　这一节将详细介绍我们提出的用于形义分割的网络架构。该架构将分成两个主要模块进行解释：负责提取特征的编码模块，负责在网络中进行上采样以计算最终类别的概率图的解码模块。

　　我们提出的架构中所使用的编码器基于 ShuffleNet。我们主要从其中使用的分组卷积和通道混洗中受到了。[4,2,3] 表明深度上可分的卷积或分组卷积可以在降低计算成本的同时维持优良的表征能力。分组卷积的堆叠可能会导致出现一大主要瓶颈。输出通道将从有限的输入通道中导出。为了解决这个问题，it 中引入了信道混洗，这种方法也在 ShuffleSeg 的编码和解码部分都得到了良好的应用。

　　实时形义分割对移动和机器人相关的应用而言非常重要。我们提出了一种计算高效的分割网络，我们称之为 ShuffleSeg。我们提出的架构基于其编码器中的分组卷积和通道混洗（channel shuffling），可用于曹刚川出事了提升性能。我们对不同的解码方法进行了剥离研究（ablation study），比较了 Skip 架构、UNet 和 Dilation Frontend。我们讨论了在速度和准确度权衡上的有趣见解。研究表明在解码方法中的 skip 架构能为实时性能目标提供最好的折中，同时还能通过为更准确的分割使用更高分辨率的特征图来提供足够的准确度。我们在 CityScapes 上评估了 ShuffleSeg，并且将其与当前最佳的实时分割网络进行了比较。它在 CityScapes 测试集上实现了可与其它方法媲美的 58.3% 的交并比（IoU），同时 GFLOPs 降低了 1 倍。ShuffleSeg 在 NVIDIA Jetson TX2 上的运行速度为每秒 15.7 帧，这让它在实时应用上有很大的应用潜力。