Standardisation of the Test Your Memory and evaluation of their concordance with the outcome of the psychometric examination

Abstract

Objective: To explore the relationship between scores on the Test Your Memory (TYM) battery and findings from a more exhaustive neurocognitive assessment. Methods: The TYM and fourteen psychometric tests were administered to 84 subjects aged 50 or older who attended an outpatient neurology clinic due to cognitive symptoms. Each patient's cognitive state was determined independently from his/her score on the TYM (CDR 0, n = 25; CDR 0.5, n = 45; CDR 1, n = 14). We analysed concurrent validity of TYM scores and results from the psychometric tests, as well as the degree of concordance between the two types of measurement, by contrasting normalised data from each instrument. Results: Although the intraclass correlation coefficient was 0.67 (confidence interval 95%, 0.53-0.77), analysis of the Bland–Altman plot and the curve on the survival-agreement plot (Luiz et al. method) demonstrates that the individual distances between the two methods exhibit excessive dispersion from a clinical viewpoint. TYM-based predictions of the mean z-score on psychometric tests differed substantially from real results in 30% of the subjects. Concordance of 95% can only be achieved by accepting absolute inter-instrument differences of up to 0.87 as identical values. Furthermore, the TYM underestimates cognitive performance for low values and overestimates it for high values. Conclusions: The TYM is a cognitive screening test which should not be used to predict results on psychometric tests or to detect cognitive changes in clinical trials. Resumen: Objetivo: Explorar la relación entre las puntuaciones del Test Your Memory (TYM) y los hallazgos observados en una valoración neurocognitiva más extensa. Métodos: Se administraron el TYM y 14 pruebas psicométricas a 84 sujetos de 50 o más años que acudieron a una consulta neurológica ambulatoria con sintomatología de estirpe cognitiva. Se determinó su estado cognitivo con independencia del resultado del TYM (CDR 0: 25, CDR 0.5: 45, CDR 1: 14). Se analizaron la validez concurrente del TYM con los hallazgos de la psicometría, así como el grado de concordancia entre ambos tipos de medida, confrontando datos normalizados y tipificados de los instrumentos. Resultados: Aunque el coeficiente de correlación intraclase fue de 0,67 (intervalo de confianza del 95%, 0,53-0,77), el análisis mediante el gráfico de Bland-Altman y la curva de supervivencia-acuerdo de Luiz et al. demuestran que las distancias individuales entre ambos métodos tienen una dispersión excesiva desde el punto de vista clínico. Los valores predichos por el TYM de la puntuación z media de las pruebas psicométricas discrepan sustancialmente en el 30% de los sujetos y solo aceptando como valores idénticos diferencias absolutas de hasta 0,87 puntos z entre ambas medidas se alcanza un 95% de concordancia. Además, el TYM subestima los rendimientos cognitivos cuando sus valores son bajos y los sobreestima si son elevados. Conclusiones: El TYM es una prueba cognitiva de cribado que no debe utilizarse para predecir el resultado de la psicometría o determinar la ocurrencia de cambio cognitivo en ensayos clínicos. Keywords: Test Your Memory, Mild cognitive impairment, Psychometrics, Dementia, Alzheimer disease, Cognitive screening test, Palabras clave: Test Your Memory, Deterioro cognitivo ligero, Psicometría, Demencia, Enfermedad de Alzheimer, Prueba cognitiva de cribado