【面试向】Dropout

Q:Dropout有什么作用?

解决过拟合的问题。

Q:Dropout如何实现?

使该层每个神经元的激活层都有一定概率输出0。

Q:Dropout 反向传播的处理

反向传播时忽略被Dropout的神经元。

Q:Dropout是失活神经元还是失活连接?

失活神经元并清除其周围连接。

Q:Dropout为什么能防止过拟合?

  1. 使模型泛化能力更强,不依赖于某些局部的特征;
  2. Dropout可以看作多个共享部分参数的模型的集成(其实这条跟上面那条是共通的);

Q:Dropout在训练和测试时有何不同?

Dropout在测试时不会失活神经元。并且在训练时根据失活率p对神经元权重进行缩放,即除以1-p;或者在测试时乘以p。

-------------本文结束感谢您的阅读-------------