Generalización del uso de prototipos para el diseño de redes neuronales tipo MLP con una capa oculta

Abstract

El algoritmo Backpropagation (BP) ha causado un profundo impacto en las aplicaciones de redes neuronales de tipo Multilayer Perceptrons (MLP) mos­trando sus potencialidades en la obtención de buenas soluciones para muchos problemas. Sin embargo, posee importantes limitaciones: necesidad de gran tiempo de entrenamiento y sensibilidad ante la presencia de mínimos locales. Otro problema es la topología de la red; la determinación del número exacto de capas y neuronas ocultas en muchas ocasiones no resulta una tarea fácil. En este trabajo abordamos, para redes MLP con una capa oculta, el problema de la obtención de un buen conjunto inicial de pesos, la determinación del número de neuronas ocultas y algunas consideraciones sobre la generación de los prototipos. Se demuestra que para este tipo de redes es posible realizar un preprocesamiento de los patrones de entrenamiento que posibilita la obten­ción de la arquitectura óptima y el conjunto inicial de pesos que le permiten a BP aumentar su eficiencia. Se presenta un algoritmo para la generación de la capa oculta de la red y la determinación del conjunto inicial de pesos, a partir de la información aportada por los prototipos o representantes de clases. Fi­nalmente, se presentan los resultados donde se muestra que la inicialización de redes BP con prototipos generalmente resulta en 1) una reducción drástica del tiempo de entrenamiento, 2) aumento de su robustez contra la posibilidad de quedar atrapado en mínimos locales y 3) mejor generalización.

Keywords

• Inicialización
• redes neuronales hacia ade­lante
• retropropagación del error
• prototipos
• aprendizaje supervisa­do
• reconocimiento de patrones.