Rétropropagation et optimisation
C’est ici que se produit le véritable « apprentissage ». Grâce à un algorithme appelé rétropropagation, le réseau remonte depuis la couche de sortie. Il identifie les poids et biais qui ont le plus contribué à l’erreur, puis calcule le gradient, qui indique dans quelle mesure et dans quelle direction les poids doivent être ajustés pour minimiser la perte.
Cet ajustement est guidé par la descente de gradient, un algorithme d’optimisation qui affine itérativement les paramètres pour minimiser la perte. Durant cette phase, les data scientists ajustent également les hyperparamètres, comme le taux d’apprentissage, qui détermine l’ampleur de chaque correction. Si le taux d’apprentissage est trop élevé, le modèle risque de dépasser la solution optimale ; s’il est trop faible, l’entraînement prendra un temps excessif.