Retour aux cours
Page suivante
QCM Interactif
Testez vos connaissances !
1
Quel est l'effet principal d'une initialisation des poids trop grande dans un réseau avec fonction d'activation tanh ?
A
Les neurones ont des activations proches de zéro, facilitant la propagation du gradient.
B
Les neurones ont des activations proches de +1 ou -1, ce qui provoque un gradient très faible.
C
Le loss est plus faible à l'initialisation, ce qui accélère l'entraînement.
D
Les biais deviennent inutiles et peuvent être initialisés à des valeurs aléatoires.
2
Quelle méthode simple permet de réduire un loss anormalement élevé à l'initialisation d'un réseau ?
A
Initialiser tous les poids à zéro.
B
Multiplier les poids par une petite valeur (par exemple 0.01) et initialiser les biais à zéro.
C
Utiliser une fonction d'activation sigmoid au lieu de tanh.
D
Augmenter la taille du batch pour stabiliser le loss.
3
Pourquoi ne faut-il pas initialiser les poids d'un réseau de neurones à zéro ?
A
Parce que cela entraîne une distribution uniforme des activations.
B
Parce que cela empêche la différenciation entre neurones, bloquant l'apprentissage.
C
Parce que cela augmente le loss initial.
D
Parce que cela accélère trop l'entraînement et provoque un surapprentissage.
4
Quelle est la dérivée de la fonction tanh et pourquoi est-elle importante pour le problème des neurones morts ?
A
tanh'(t) = 1 - tanh(t), ce qui fait que le gradient est toujours élevé.
B
tanh'(t) = 1 - t^2, et si t est proche de ±1, le gradient est très faible.
C
tanh'(t) = t, ce qui empêche la propagation du gradient.
D
tanh'(t) = exp(-t), ce qui cause une explosion du gradient.
5
Quelle technique moderne est recommandée pour assurer une bonne initialisation des poids dans les réseaux profonds ?
A
Initialisation aléatoire uniforme entre -1 et 1, sans biais.
B
Initialisation Kaiming (He) adaptée à la fonction d'activation utilisée.
C
Initialisation des poids à zéro et des biais à 0.5.
D
Utilisation exclusive de la normalisation batch (batch norm) sans se soucier de l'initialisation.
Score: 0/5
Score: 0/5
Score: 0/5
Score: 0/5