在卷积神经网络中，该如何调整超参数以及可视化卷积层?

影响CNN网络的关键超参

  • 学习率/优化算法
  • 迭代次数
  • 批次大小 [16,128]
  • 激活函数
  • 隐藏层的数目和单元
  • 权重初始化
  • dropput

最优超参搜索方法

网格VS随机 https://yq.aliyun.com/articles/68266

网格搜索

随机搜索

可视化

可以通过可视化各个卷积层，来更好地了解CNN网络是如何学习输入图像的特征。可视化有两种直接方式，分别是可视化激活程度和可视化相关权重。

  • 激活程度：在网络训练过程中，卷积层的激活情况通常会变得更为稀疏和具有局部特性。当不同输入图像的激活图都存在大片未激活的区域，那么可能是设置了过高的学习率使得卷积核不起作用，导致产生零激活图像。

  • 权重：性能优良的神经网络通常含有多个明显而平滑的卷积器，且没有任何干扰特征。若在权重中观察到相关干扰特征，可能原因是网络未被充分训练，或是正则化强度较低导致了过拟合效应。