Desempeño de la metaheurística Optimización de Mallas Variables en Apache Spark

Abstract

El crecimiento exponencial de fuentes generadoras de datos ha dado lugar a nuevos desafíos computacionales. El desarrollo de técnicas y herramientas para el proce samiento y análisis de estos datos han popularizado el término “Big Data”. Las metaheurísticas y en particular las poblacionales han sido evaluadas como una alternativa ventajosa para resolver problemas de optimización a gran escala en campos como la minería de datos. Este trabajo se centra en adaptar la metaheurística Optimización en Mallas Variables al contexto de Big Data, utilizando el framework de procesamiento distribuido Apache Spark. Optimización en Mallas Variables es una metaheurística poblacional que maneja un conjunto de soluciones potenciales (nodos) organizados en una malla dinámica que se expande y contrae a través del espacio de búsqueda. Los experimentos demuestran que la implementación paralela de Optimización en Mallas Variables en Spark mejora significativamente la eficiencia y calidad de las soluciones en comparación con la versión secuencial. La paralelización permite resolver problemas de optimización combinatoria de mayor escala de manera más efectiva.

Keywords

• metaheurísticas poblacionales; big data; optimización; procesamiento distribuido.