Retropropagación y optimización
Aquí es donde se produce el verdadero "aprendizaje". Mediante un algoritmo denominado retropropagación o "backpropagation", la red trabaja hacia atrás desde la capa de salida. Identifica qué pesos y sesgos influyeron más en el error y calcula el gradiente, que determina en qué medida y en qué dirección deben ajustarse los pesos para minimizar la pérdida.
Este ajuste está guiado por el descenso de gradiente, un algoritmo de optimización que modifica los parámetros de forma iterativa para minimizar la pérdida. Durante esta fase, los científicos de datos también ajustan los hiperparámetros, como la tasa de aprendizaje, que determina la magnitud de cada paso de corrección. Si la tasa de aprendizaje es muy elevada, el modelo podría sobrepasar la solución óptima; en cambio, si es muy baja, el entrenamiento puede tardar un tiempo excesivo.