Actividad No 12. Mejoras al aprendizaje del perceptrón multicapa mediante
retro propagación. Momento en variación de pesos.
el presente documento trata del momento es una aproximación
de promediado que provee estabilidad cuando se alcanzan los pesos óptimos en el
aprendizaje. Este método toma en cuenta el promedio de los cambios pasados (en
los pesos) en el incremento de peso, suavizando el cambio neto de peso. La idea
es usar el promedio exponencial de todos los cambios de peso previos para guiar
el cambio actual. La expresión
matemática de cambio de peso para cada peso es:
Donde: 
es el parámetro de momento que debe estar
entre 0 y 1. 
Es el cambio de peso en la época previa. 
Es la gradiente promedio de todos los patrones
de entrenamiento (batch) para el peso w en la época m.
es el parámetro de momento que debe estar
entre 0 y 1. Es el cambio de peso en la época previa. Es la gradiente promedio de todos los patrones
de entrenamiento (batch) para el peso w en la época m.
Use
1000 épocas, pesos iniciales aleatorios, y derivada de sigmoide con offset de
0.1.
descarga:
http://www.4shared.com/file/M5i1bTjhce/Actividad_12_Flavio_Cruz_Crist.html
No hay comentarios.:
Publicar un comentario