Rubrics: Avaliação em Educação

A avaliação tem se transformado em uma questão cada vez mais crítica no ensino superior, gerando inúmeras reclamações por parte dos alunos e inclusive processos judiciais.

Max Roosevelt discute o tema em Student Expectations Seen as Causing Grade Disputes no New York Times, mencionando a pesquisa de Ellen Greenberger et al em Self-Entitled College Students: Contributions of Personality, Parenting, and Motivational Factors, publicada no Journal of Youth and Adolescence – Volume 37, Number 10, November 2008. Os alunos esperam notas elevadas simplesmente por participarem das aulas e cumprirem as atividades solicitadas pelos professores. A qualidade do trabalho final do aluno é muitas vezes confundida com a quantidade de esforço despendido – se eu trabalhei muito, devo necessariamente ter uma nota alta.

A questão da avaliação surgiu de uma maneira muito interessante quando eu era aluno do curso YouTube for Educators no Departamento de Educational Technology da Boise State University, no semestre passado. O programa da disciplina propunha critérios de avaliação com níveis de detalhe impressionantes. Para a participação em fóruns, p.ex., a nota estava dividida em número de posts (valendo 20), qualidade da informação (40), profissionalismo (20) e prazos (20), sendo que cada um desse itens tinha uma divisão em colunas 90%-100%, 60%-89%, 30%-59% e 0%-29%, com a discriminação do que o aluno precisaria fazer para tirar uma nota em cada uma das colunas.

Além disso ter chamado a minha atenção desde o início, durante o curso produzimos vários vídeos e eu percebi que em geral os alunos tiravam a nota máxima por cumprir os critérios propostos, que no caso dos vídeos eram normalmente produzir um vídeo de x minutos, sobre tal assunto, postar no YouTube etc. A minha questão foi: com certeza a professora devia estar achando alguns vídeos melhores do que os outros, mas no final não conseguia exprimir essa avaliação em função dos critérios rígidos que tinha proposto. Eu questionei, por exemplo, se critérios de avaliação assim tão rígidos não engessariam o curso, matando a criatividade. Como eu não costumo ver critérios de avaliação tão detalhados por aqui, argumentei também que talvez essas diferenças refletissem diferenças culturais – já ouvi dizer que brasileiro não gosta de ser avaliado. Um dia, aliás, mostrei os critérios de avaliação do curso para um colega e expus toda a discussão, ao que ele respondeu: eu gostaria de preservar um espaço subjetivo na avaliação que faço dos meus alunos.

Minha professora Chareen Snelson deu uma longa e interessantíssima resposta à minha provocação em um post. As rubricas podem ser mais abertas ou detalhadas, dependendo do professor. Critérios de avaliação pouco claros podem proporcionar mais liberdade de criação, mas de outro lado produzem muito stress. A realidade dos alunos é que eles serão avaliados e querem tirar, naturalmente, a melhor nota possível, inclusive porque muitas vezes recebem bolsas de estudo que estão atreladas ao seu desempenho na instituição, ou serão cobrados pelos próprios pais, que muitas vezes pagam as mensalidades, ou simplesmente desejam ter um boletim exemplar que possa ter valor para seu futuro profissional, ou apenas para sua auto-estima. Por isso, naturalmente os alunos querem saber como serão avaliados e as razões que podem levá-los a, p.ex., perder suas bolsas de estudo.

Com os critérios de avaliação esperamos ter algo definido, observável e mensurável, que pode inclusive gerar motivação para o desenvolvimento do trabalho do aluno. E, segundo Snelson, as rubricas (utilizadas amplamente em muitos países) permitem definir níveis de qualidade para o produto esperado dos alunos mantendo a flexibilidade. Usar rubricas para atividades mais criativas, entretanto, torna-se realmente um desafio bem mais complexo, pois teríamos que definir os atributos da criatividade que estão sendo buscados na atividade do aluno.

Snelson argumentou ainda que rubricas desempenham um papel essencial também na acreditação das instituições de ensino nos Estados Unidos. Os cursos de Tecnologia Educacional da Boise, p.ex., estão alinhados com os standards da AECT – Association for Educational Communications and Technology, e portanto as avaliações precisam também estar alinhadas com esses padrões. Sem as rubricas e os trabalhos dos alunos, a instituição não teria evidências dos seus resultados, e o apoio financeiro pode inclusive faltar a uma instituição que não seja acreditada. E a questão em EaD é ainda mais crítica, porque todos sabemos que cursos à distância são ainda desacreditados por muitos.

No curto Peter Mutarelli – Manhattan College, o professor discute as mudanças na avaliação em seus 15 anos no ensino superior, chamando a atenção para importância das rubricas ante todas essas pressões:

O Kathy’s Schrock Guide for Educators tem uma página sobre Assessment and Rubric Information com inúmeras informações e links para rubricas. Veja p.ex. modelos de rubricas para apresentações orais e duas sobre vídeos: a e b, os interessantes e longos artigos Ideas and Rubrics e Creating Rubrics, e uma lista de rubricas para diversos tipos de trabalhos.

Um dos softwares bastante utilizado para a elaboração de rubricas é Rubistar. Esta lista de reprodução tem 3 vídeos com tutoriais para o uso do Rubistar.

Na continuação da interessante discussão no fórum (e é um pecado que fóruns como esse e tantos outros morram depois do curso – por isso cada vez tem menos sentido para mim um curso fechado), alguém chamou a atenção que a palavra rubrica tem origem nos manuscritos medievais, indicando orientações para os serviços litúrgicos e o que deveria ser falado em missas.

Mas que escolha de nome infeliz para critérios de avaliação na educação contemporânea, que tenta desesperadamente se libertar da educação tradicional para conseguir lidar com seu novo público.

Outro aprendizado interessante durante os cursos da Boise: além de o aluno poder negociar o programa, as atividades propostas e os critérios de avaliação nas primeiras semanas de aula, ao propor um projeto ele deveria também propor os critérios pelos quais esse projeto deveria ser avaliado pelo professor; ou seja – cada trabalho acaba sendo avaliado em função de critérios distintos, adequados àquele trabalho específico e propostos pelos próprios alunos. Tentei reproduzir a experiência com meus professores/alunos no Colégio Progresso, mas surpreendentemente a coisa não funcionou muito bem: apenas um ou dois grupos enviaram critérios de avaliação junto com seus projetos para os trabalhos finais – mas nunca com o grau de detalhes das rubricas mencionadas anteriormente; alguns grupos enviaram os critérios de avaliação junto com o trabalho final – mas aí a estratégia perde o sentido, porque você acaba traçando os critérios em função do resultado do trabalho já pronto, enquanto o desafio é justamente prever onde você quer chegar e como deverá ter sua produção avaliada – e quando as coisas não vão saindo como você queria, dá uma vontade angustiante de alterar os critérios; mas a maioria dos grupos simplesmente ignorou a sugestão e enviou os trabalhos finais sem critérios para avaliação.

A questão cultural é sem dúvida essencial nesse problema da avaliação, mas a pressão cada vez maior dos nossos alunos por clareza nos critérios de avaliação fatalmente nos levará a seguir esse mesmo caminho e refletir com maior profundidade sobre o tema, alterando a nossa prática. E graças a Deus já temos em português o Avaliação da Aprendizagem em Educação Online, iniciativa da Edméa Santos e do Marco Silva, para o qual ainda estou devendo uma detalhada resenha por aqui.

E aí, qual é a sua opinião sobre as rubricas? Quais experiências você tem com avaliação para compartilhar conosco?

Compartilhar