Avaliação Formativa e Sumativa

A avaliação (ou evaluation de programas, processos, procedimentos, produtos ou cursos, não assessment, que significa avaliação dos alunos) pode ser dividida basicamente em: formativa (enquanto cursos etc. estão sendo desenvolvidos) e somativa (quando os cursos já estão prontos).

Neste post, dou uma rápida passagem por 4 capítulos que abordam o tema.

Morrison, G. R., Ross, S. M., Kalman, H. K., Kemp, J. E. (2011). Designing effective instruction (6th Ed.). Hoboken, NJ: Wiley [Ch. 13. Using Evaluation to Enhance Programs: Conducting Formative and Summative Evaluations]

O longo capítulo (36 páginas) aborda diversos procedimentos para conduzir avaliações formativas e somativas.

Carey, L. M., & Dick, W. (1991). Summative evaluation. In L. J. Briggs, K. L. Gustafson, & M. H. Tillman (Eds)., Instructional design: Principles and applications (2nd Ed.), pp. 269-311. Englewood Cliffs, NJ: Educational Technology Publications.

A avaliação somativa serve para ajudar educadores a determinar se uma instrução deve ser continuada ou adotada. O capítulo apresenta inicialmente uma visão geral dos fundamentos da avaliação somativa, em seguida descreve o design desse tipo de avaliação, e por fim revisa um conjunto de padrões para examinar o design, a condução e os relatórios envolvidos em uma avaliação somativa.

Dick, W., & Carey, L. M. (1991). Formative evaluation. In L. J. Briggs, K. L. Gustafson, & M. H. Tillman (Eds)., Instructional design: Principles and applications (2nd Ed.), pp. 227-267. Englewood Cliffs, NJ: Educational Technology Publications.

O capítulo apresenta uma breve descrição de abordagens clássicas de avaliação e sua relação com o processo de design instrucional. São discutidos: opinião subjetiva de um especialista, avaliação objetiva (baseada na monitoração dos resultados da instrução em função dos objetivos instrucionais), avaliação baseada na administração de programas (cursos ou currículos) e avaliação formativa, para a qual o artigo sugere então uma série de procedimentos.

1. Testes um-a-um podem envolver, dentre outros, os critérios de clareza, impacto e viabilidade. O texto apresenta uma tabela com os tipos de informação adequados para cada um desses critérios, que envolve: a) clareza da instrução (a1. mensagem - nível de vocabulário, complexidade das sentenças, complexidade da mensagem, introduções, elaborações, conclusões e transições; a2. articulações - contextos, exemplos, analogias, ilustrações, demonstrações, revisões e resumos; e a3. procedimentos - sequência, tamanho do segmento, transição, ritmo e variação); b) impacto no aprendiz (b1. atitudes - relevância, ou seja, utilidade da informação e habilidades; confiança, ou seja, quão fácil/difícil a informação e as habilidades são para o aprendizado; e satisfação com as habilidades aprendidas; b2. sucesso – clareza das orientações e itens para as avaliações propostas, e notas nas avaliações propostas); e c) viabilidade (c1. aprendiz – maturidade, independência e motivação; e c2. recursos – tempo, equipamento e ambiente). O capítulo discute também o comportamento dos avaliadores e aprendizes escolhidos para os testes.

2. Testes em pequenos grupos procuram avaliar a instrução com mais aprendizes, e o texto discute também estratégias para esse tipo de avaliação. 3. Testes de campo, por sua vez, procuram simular o ambiente em que a instrução será aplicada numa situação real, como uma revisão final. Para os 2 casos, são apresentados instrumentos a serem utilizados.

O capítulo discute ainda o design de estudos de avaliação formativa para instruções de longa duração, como um semestre ou um ano, assim como o processo de revisão da instrução em função dos resultados da avaliação.

Por fim, discute tipos de pesquisa realizados sobre avaliação formativa.

Smith, P. L., & Ragan, T. J. (2005). Instructional design (3rd Ed.). Hoboken, NJ: Wiley. [Ch. 19. Formative and Summative Evaluation]

Já tinha resenhado este capítulo por aqui mas tinha prometido voltar a ele para ampliar a resenha, então aqui vai.

Editoras comerciais de materiais instrucionais (softwares ou livros-texto) não costumam conduzir avaliações formativas. Muitas vezes elas enviam cópias de materiais instrucionais para treinadores ou professores, visando obter suas opiniões, mas em geral o material está na forma final, não na forma em que revisões substanciais ainda são possíveis. Para textos tradicionais, por exemplo, apenas a primeira fase das quatro que serão apresentadas a seguir (revisão de um especialista) tem sido normalmente aplicada pela indústria editorial. Além disso, professores e treinadores não são as melhores fontes de informação para prever a eficiência dos materiais: a mellhor fonte de informação para isso são os próprios aprendizes. Mais do que a opinião dos aprendizes sobre a qualidade da instrução, deve-se procurar medir o aprendizado resultante da instrução.

O capítulo descreve em detalhe quatro estágios de avaliação formativa: revisões do design, revisões de especialistas, validação de aprendizes e avaliação contínua.

As revisões de design ocorrem antes e do início do desenvolvimento dos materiais instrucionais. Podem envolver revisões dos objetivos, da análise do ambiente e dos aprendizes, da análise de tarefas e das especificações das avaliações (dos aprendizes) e dos blueprints.

As revisões de especialistas em geral ocorrem após o desenvolvimento dos materiais (ainda em forma de esboço), mas antes de seu uso efetivo com os aprendizes. Podem envolver especialistas em conteúdo, especialistas em design instrucional, especialistas em educação de conteúdo específico ou especialistas nos aprendizes (como professores), dando-se maior relevância às observações feitas nas suas respectivas áreas de especialidade. Perguntas que podem ser respondidas por especialistas incluem: O conteúdo é adequado e atualizado? O conteúdo apresenta uma perspectiva consistente? Os exemplos, exercícios práticos e feedback são realistas e adequados? A abordagem pedagógica é consistente com a teoria instrucional atual na área do conteúdo? A instrução é apropriada para os aprendizes-alvo? As estratégias instrucionais são consistentes com os princípios de teoria instrucional? Algumas observações feitas por especialistas, nesta fase, podem ser utilizadas para a elaboração de perguntas para os aprendizes, na fase seguinte.

A validação por parte dos aprendizes é apresentada em 3 fases: avaliação um-a-um, avaliação em pequenos grupos e testes de campo.

A avaliação um-a-um deve ser realizada com 2, 3 ou mais aprendizes. Os tipos de erro que podem ser localizados nesse estágio incluem: erros tipográficos, sentenças pouco claras, orientações ruins ou inexistentes, exemplos inapropriados, vocabulário não familiar, páginas ou figuras rotuladas inadequadamente, ilustrações que não comunicam intenção e frames em sequências incorretas. As perguntas gerais que devem ser respondidas incluem: Os aprendizes compreendem a instrução? Os aprendizes sabem o que fazer durante a prática e os testes? Os aprendizes conseguem interpretar os gráficos no texto? Os aprendizes conseguem ler todo o material textual? O capítulo propõe então a função do designer e do aprendiz durante o processo, procedimentos (como leitura em voz alta enquanto o aprendiz interage com o material, e testes) e a exposição e interpretação dos dados.

Avaliações em pequenos grupos prescindem da intervenção do designer, que deve atuar mais passivamente, como observador. Questões que podem ser respondidas nesta fase incluem: Os aprendizes possuem as habilidades de entrada previstas? Eles tiveram sucesso com a instrução (se não, quais revisões são necessárias)? Eles possuem habilidades não previstas? Quanto tempo leva para os aprendizes completarem a instrução? Como eles se sentem em relação à instrução? Se seus sentimentos são negativos, como eles afetam seu rendimento? Que revisões são necessárias para melhorar suas atitudes em relação à instrução? São também apresentados os papeis do aprendiz e do designer, procedimentos, coleta, exposição e análise dos dados (em detalhes, incluindo testes de entrada, saída e outros níveis). Durante esta fase, os alunos devem lidar com a instrução como se estivessem no seu ambiente real de aprendizagem.

Testes de campo, por fim, procuram avaliar a instrução no seu ambiente real com um grande número de alunos, no mínimo 30. São também propostos papeis e procedimentos.

Além da proposta de avaliação contínua, o capítulo sugere também estratégias detalhadas para a avaliação somativa, incluindo a resolução dos problemas identificados na análise das necessidades da instrução, a transferência do aprendizado, os resultados da aprendizagem, atitudes etc.

Compartilhar