GECONTEC: Revista Internacional de Gestión del Conocimiento y la Tecnología (Nov 2023)
Validación de contenidos del ChatGPT en el tema Gestión de Procesos
Abstract
El estudio tiene como objetivo la validación de contenidos, a nivel exploratorio, de las respuestas del ChatGPT ante consultas que se le formularon en el tema “Gestión y Estado de Procesos”, en base a un Modelo Teórico de Control, testeado en estudios empíricos previos con altos índices de confiabilidad y validez. Se formularon 40 consultas al ChatGPT, correspondientes a las categorías y subcategorías del Modelo Teórico de Control, y se definieron las variables que el ChatGPT debería incluir en las frases de sus respuestas, siguiendo un proceso de tipo “deductivo” al definir estos códigos a priori a partir del marco teórico referencial. Las respuestas del ChatGPT se procesaron y analizaron con el uso del software NVivo, y se realizó la validación de cada una de las respuestas mediante el software estadístico SPSS, considerando sólo las variables que incluyeron en cada respuesta, teniendo presente que se tenía acceso a los datos de 126 encuestas del estudio previo empírico. Los resultados del estudio indicaron que las respuestas del ChatGPT, además de ser pertientes, fueron confiables y válidas en niveles suficientes, con índices de confiabilidad Alfa de Cronbach entre 76.9% y 92.3% y coeficientes de validez “AVE” (porcentaje de varianza explicada, por sus siglas en inglés) entre 61.9% y 74.9%. Sin embargo, cada respuesta del ChatGPT no fue completa según el marco teórico referencial, en cada una de las dos categorías ninguna de las 20 respuestas del ChatGPT incluyeron el total de las variables, aunque en la categoría “Gestión de Procesos” 16 respuestas (80%) incluyeron 6 o más variables del total de 10 (60%) y en la categoría “Estado de Procesos” 18 respuestas (90%) incluyeron 4 o más variables del total de 7 (57%).
