Education Policy Analysis Archives (Sep 2010)
Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability across Models and Contexts Modelos de Valor Añadido de la eficacia docente Modelos de Valor Agregado da Eficácia Docente
Abstract
<span style="font-size: 12pt; font-family: Garamond;">Recent policy interest in tying student learning to teacher evaluation has led to growing use of value-added methods for assessing student learning gains linked to individual teachers. VAM analyses rely on complex assumptions about the roles of schools, multiple teachers, student aptitudes and efforts, homes and families in producing measured student learning gains. This article reports on analyses that examine the stability of high school teacher effectiveness rankings across differing conditions. We find that judgments of teacher effectiveness for a given teacher can vary substantially across statistical models, classes taught, and years. Furthermore, student characteristics can impact teacher rankings, sometimes dramatically, even when such characteristics have been previously controlled statistically in the value-added model. A teacher who teaches less advantaged students in a given course or year typically receives lower effectiveness ratings than the same teacher teaching more advantaged students in a different course or year. Models that fail to take student demographics into account further disadvantage teachers serving large numbers of low-income, limited English proficient, or lower-tracked students. We examine a number of potential reasons for these findings, and we conclude that caution should be exercised in using student achievement gains and value-added methods to assess teachers’ effectiveness, especially when the stakes are high.</span> <span style="font-size: 12pt; font-family: Garamond; color: black;" lang="ES-TRAD">El reciente interés para relacionar los resultados de los aprendizajes de los estudiantes con las evaluaciones docentes ha provocado un uso creciente de Métodos de Valor Añadido (MVA) para evaluar incrementos en los aprendizajes de los alumnos.<span> </span>Los análisis MVA se basan en hipótesis complejas acerca del papel que desempeñan las escuelas, los profesores, las aptitudes de los estudiantes, sus esfuerzos, sus hogares y familias en la producción de incrementos medibles de<span> </span>aprendizaje estudiantil . Este artículo discute los análisis que examinan la estabilidad de las clasificaciones de eficacia de profesores de escuelas secundarias a través de diferentes condiciones. Encontramos que valoraciones de la efectividad docente de un profesor/a<span> </span>pueden variar substancialmente a través de los distintos modelos estadísticos, las clases enseñadas y los años de experiencia. Además, las características de los estudiantes pueden impactar drásticamente las clasificaciones de los profesores, aún cuando tales características hayan sido previamente controladas estadísticamente en un MVA. Los profesores que enseñan a los estudiantes menos aventajados en un curso o año determinado reciben clasificaciones de eficacia más bajas que cuando un mismo profesor está enseñando a los estudiantes más aventajados en otro curso o año. Los modelos que no toman en cuenta las características demográficas de los estudiantes perjudican adicionalmente a los profesores que sirven a un gran número de estudiantes de bajos ingresos, con conocimientos limitados del idioma inglés o que estén en cursos de menor rendimiento académico. Examinamos un gran número de posibles razones para explicar estos resultados, entre ellas la naturaleza específica de las medidas de las evaluaciones y los métodos estadísticos utilizados y concluimos que se debe tener precaución al hacer inferencias sobre la efectividad de profesores individuales basadas en modelos de Valor Añadido<span> </span>especialmente para determinar resultados que puedan tener consecuencias severas (como promoción de un ciclo para otro).</span> <span style="font-size: 12pt; font-family: Garamond;" lang="PT-BR">O recente interesse político de relacionar resultados da aprendizagem dos alunos com as avaliações de professores ocasionou uma crescente utilização de Métodos de Valor Agregado (MVA) para avaliar ganhos na aprendizagem dos alunos. Análises MVA são baseadas em hipóteses complexas sobre o papel das escolas, dos variados professores, das competências e empenho dos alunos e do ambiente familiar na produção de aumentos mensuráveis da aprendizagem dos alunos. Este artigo discute trabalhos que examinam a estabilidade das classificações dos professores de ensino médio em condições diferentes. Descobrimos que as avaliações de eficácia do ensino de um professor podem variar consideravelmente a partir dos diferentes modelos estatísticos, das aulas ministradas e dos anos de experiência. Além disso, características dos estudantes podem modificar drasticamente a classificação dos professores, mesmo que tais características tenham sido controladas estatisticamente nos MVA. Professores que ensinam alunos mais desfavorecidos em um determinado curso ou série recebem avaliações de desempenho inferiores do que o mesmo professor ensinando alunos mais favorecidos em outro curso ou série. Modelos que não levam em conta as características demográficas dos estudantes podem prejudicar professores que atendem um grande número de alunos de baixa renda, com habilidades limitadas em inglês ou que estão em cursos considerados fracos. Examinamos um grande número de possíveis razões para estes resultados, incluindo a natureza específica das medidas de avaliação e os métodos estatísticos utilizados. Concluímos que é necessário muito cuidado<span> </span>ao se fazer inferências sobre a eficácia dos professores<span> </span>com base em Modelos de Valor Agregado (MVA), especialmente para determinar<span> </span>resultados que podem ter consequências graves (tais como a promoção de um ciclo para outro).</span>
