Revista Facultad de Ingeniería Universidad de Antioquia (Nov 2000)
Estrategias pedagógicas para la presentación de patrones al entrenamiento de redes neuronales de tipo MLP que utilizan backpropagation como algoritmo de aprendizaje
Abstract
El problema de las estrategias de selección de patrones para el entrenamiento de redes neuronales no ha recibido mucha atención por parte de los investigadores de este campo. Durante el entrenamiento Backpropagation (BP) usualmente todos los patrones son presentados de forma secuencial en un orden uniforme, sin tener en cuenta posibles estructuraciones del conjunto de entrenamiento que posibilitarían drásticas reducciones del tiempo de duración del proceso de aprendizaje. Este trabajo presenta y compora algunas estrategias de selección de patrones para adaptar el proceso de aprendizaje a las características del problema en particular que se está tratando. Estas estrategias favorecen la selección de patrones que producen valores de error altos, restando prioridad a aquellas que ya han sido "aprendidas"por la red (que producen errores muy bajos). Pueden existir dos tipos de estrategias: Aleatorias y determinísticas. En las estrategias aleatorias, los patrones son seleccionados aleatoriamente atendiendo a alguna variable de propabilidad que depende del estado del proceso de aprendizaje. Por el contrario las determinísticas siguen esquemas globales y predefinidos que incrementan la frecuencia de presentación de ciertos patrones forzando su repetición. Hemos formalizado cinco variantes de estrategias que se describen en la literatura (Cachin, 1994 y Munro, 1992) que son: (1) probabilidad de presentación dependiente del error (PPDE), de tipo aleatorio; (2) repetición dependiente del error (RDE), de tipo determinista; (3) sistema de fichero de tarjetas (SFT), que posee dos variantes, una aleatoria y otra determinista; (4) partición del conjunto de entrenamiento (PCE), de tipo determinista; y (5) repetir hasta apreder (RHA), de tipo aleatorio. Además proponemos dos nuevas estrategias: (1) repetir el mayor error (RME), de tipo determinista y (2) sistema de fichero de tarjetas dependiente del error (SFTDE) también de tipo determinista. Los experimentos han demostrado que en los mejores resultados para los problemas de prueba, el tiempo de convergencia y la calidad del aprendizaje pueden ser mejorados, pero solo mediante estrategias de tipo determinista.
Keywords
