ID173 O impacto de um curso online sobre a metodologia GRADE para a avaliação da certeza da evidência: um estudo antes e depois

Abstract

Introdução O sistema GRADE (Grading of Recommendations Assessment, Development and Evaluation) apresenta uma metodologia transparente para a avaliação da certeza da evidência em revisões sistemáticas (RS) e diretrizes clínicas, sendo um requisito formal no processo de síntese de evidências adotado pelo Ministério da Saúde (MS). No entanto, uma crítica comum ao método GRADE está voltada a potencial heterogeneidade e subjetividade no processo de avaliação, porém um treinamento formal sobre a metodologia pode aumentar a sua confiabilidade e reprodutibilidade. O objetivo deste trabalho foi verificar os efeitos de um curso GRADE online sobre a concordância na avaliação da certeza da evidência de questões de intervenção. Métodos Sessenta e cinco profissionais vinculados a Núcleos de Avaliação de Tecnologias em Saúde participaram de um curso GRADE online com duração de oito semanas. O curso abordou os domínios que rebaixam (risco de viés, inconsistência, evidência indireta, imprecisão e viés de publicação) ou elevam (gradiente dose-resposta, magnitude de efeito; confundidores residuais) a certeza da evidência conforme o sistema GRADE através de aulas assíncronas e encontros síncronos semanais. As publicações foram aleatoriamente distribuídas aos participantes, para a avaliação da certeza da evidência antes (A) e depois (D) do curso, totalizando quatro questões avaliadas por participante. O teste de Gwet AC1 foi utilizado para verificar a concordância multi-avaliador entre as respostas dos participantes e uma resposta padrão para cada SR. A concordância entre os avaliadores (inter-avaliadores) foi analisada através do teste de Kappa de Fleiss. Os domínios do GRADE foram dicotomizados para a avaliação de modificações na proporção de respostas antes e depois do curso e comparados através do teste de McNemar. Aprovação no CEP-HMV (64836122.9.0000.5330). Resultados A frequência média na tutoria online foi de 86,1%. Um aumento na concordância multi-avaliador (%) de evidência indireta (A: 82,8; D: 86,8), imprecisão (A: 68,7; D: 79,5) e a certeza geral da evidência (A: 34,3; D: 42,5) foi observado após o curso. Alterações discretas foram observadas na taxa de concordância do risco de viés (A: 62,7; D: 69,1), inconsistência (A: 76,0; D: 76,0) e viés de publicação (A: 69,8; D: 74,4). A proporção (%) de avaliadores que rebaixaram a certeza geral da evidência foi maior após o curso (A: 55,4; D: 78,4; p=0,008), ocorrendo também uma maior proporção de explicações para o julgamento dos domínios de risco de viés (p=0,006), inconsistência (p=0,005), imprecisão (p=0,01). A concordância inter-avaliadores (%) aumentou nos domínios de risco de viés (A: 23,8; D: 65), inconsistência (A: 39,1; D: 55), evidência indireta (A: 38,1; D: 80), imprecisão (A: 38,1; D: 47,8) e para a certeza geral da evidência (A: 31,8; D: 50) após o curso. Discussão e conclusões No momento pré-curso, foi observada baixa concordância de avaliação sobretudo para os domínios de risco de viés, inconsistência, imprecisão e para a certeza geral da evidência. O curso GRADE online melhorou a consistência e a concordância da avaliação da certeza da evidência. Os cursos online de GRADE possuem potencial para melhorar as habilidades no desenvolvimento metodológico para diretrizes clínicas e para a tomada de decisão em avaliações de tecnologia em saúde noo sistema de saúde brasileiro. Financiamento: PROADI-SUS, Ministério da Saúde do Brasil.