互动测验

A

神经元的激活值接近零，有利于梯度传播。

B

神经元的激活值接近 +1 或 -1，导致梯度非常小。

C

初始损失更低，从而加速训练。

D

偏置变得无用，可以随机初始化。

A

将所有权重初始化为零。

B

将权重乘以一个小值（例如 0.01），并将偏置初始化为零。

C

使用 sigmoid 激活函数代替 tanh。

D

增大批次大小以稳定损失。

A

因为这会导致激活值呈均匀分布。

B

因为这会阻止神经元之间的差异化，导致无法学习。

C

因为这会增加初始损失。

D

因为这会加速训练并导致过拟合。

A

tanh'(t) = 1 - tanh(t)，这使得梯度始终很高。

B

tanh'(t) = 1 - t^2，如果 t 接近 ±1，梯度会非常小。

C

tanh'(t) = t，这阻止了梯度传播。

D

tanh'(t) = exp(-t)，这导致梯度爆炸。

A

在 -1 到 1 之间均匀随机初始化，且无偏置。

B

根据所用激活函数调整的 Kaiming（He）初始化。

C

将权重初始化为零，偏置初始化为 0.5。

D

仅使用批归一化（batch norm），无需关注初始化。