SENet及对轻量级网络的一些理解

转自： n等用于实现目标检测的网络中增加SENet块进行加强，也能得到很好的效果，这进一步证明了SENet网络的通用性。

接下来，作者思考了最后一个问题，增加的SE block添加在原有block中位置的不同会不会影响到实验结果。为此，作者进行了对比试验。

如图6所示， 是原来的残差网络与作者在四个不同位置添加了SE block的四种不同的网络结构，总***是五个不同的网络结构。

图6

表3

而表3即是四种不同的SENet结构的错误率对比，我们能够看到SE-PRE结构是其中相对表现最好的，这说明了SE block块所在位置确实会影响到神经网络的整体效果，所以我们在运用SENet时，对于其所添加的位置应该好好斟酌。

这篇论文提出了一个名为名为SE block的架构单元，通过使网络能够执行动态的信道特征重新校准来提高网络的表示能力。实验证明了SENets的有效性，它在多个数据集和任务之间实现了最先进的性能。此外，SE块揭示了以前的体系结构无法充分地对通道相关关系建模。并且SE块生成的特征重要度值可以用于其他任务，例如用于模型压缩的网络剪枝。