Un análisis bidimensional de las técnicas de remuestreo para grandes conjuntos de datos desbalanceados

Abstract

Las aplicaciones de Big Data son tema central de la investigación actual en muchos campos debido a la creciente producción de enormes cantidades de datos. Una dificultad importante de los datos, tanto en los problemas de la vida real tradicionales como en los grandes volúmenes de datos, se refiere al desbalance de clases, en el que una clase es muy poco representada en comparación con las otras clases. En este artículo, exploramos el uso de algunos métodos de remuestreo para manejar el desbalance de clase en grandes conjuntos de datos, analizando el tiempo de procesamiento y la precisión de clasificación lograda por tres clasificadores de diferente naturaleza. Los resultados experimentales muestran que los enfoques de sobre muestreo funcionan mejor que las técnicas de bajo muestreo, independientemente del clasificador usado, pero conducen a tiempos de clasificación mucho más altos. Al comparar los métodos de sobre muestreo, se observa que SMOTE supera los algoritmos de sobre muestreo aleatorios; en el caso de un bajo muestreo, el enfoque aleatorio es mejor que la regla condensada del vecino más cercano.

Keywords

• Grandes volúmenes de datos
• Desbalance de datos
• sobre-muestreo
• bajo-muestreo