Já tinha comentado brevemente por aqui o relatório Technology and Child Development: Evidence from the One Laptop per Child Program, que avalia os impactos do programa OLP (One Laptop per Child) ou UCA (Um Computador por Aluno) no Peru.
O estudo foi realizado em 319 escolas primárias públicas em comunidades rurais pequenas e pobres no Peru, durante os 15 primeiros meses de implementação do programa, com uma amostra dos alunos. Nessas escolas, 1 professor dá aula para alunos do primeiro ao sexto ano na mesma sala. Em praticamente nenhuma escola havia acesso à Internet.
Os resultados do estudo mostram que houve um aumento considerável no acesso e no uso de computadores por parte dos alunos, tanto nas escolas quanto em casa, associado ao desenvolvimento de habilidades de uso de computadores.
Do ponto de vista da aprendizagem, entretanto, foram detectados apenas alguns benefícios em habilidades cognitivas gerais. Não foram encontradas evidências de melhora da aprendizagem nem em matemática, nem em linguagem. Apesar de os laptops virem com 200 livros, não houve evidências de que o programa tenha influenciado os hábitos de leitura dos alunos. O programa não afetou as matrículas, nem a frequência às aulas, nem a motivação para a aprendizagem, nem o tempo dedicado ao estudo em casa. Tampouco parece ter afetado a qualidade da instrução nas aulas, tendo produzido, no máximo, modestas mudanças nas práticas pedagógicas.
Esses resultados em princípio reforçam que o foco na tecnologia, sem formação adequada dos professores para sua incorporação à educação e sem objetivos alinhados com o currículo, não gera resultados positivos de aprendizagem. Mas é possível fazer vários outros questionamentos: o programa teria sido bem desenhado e implementado? As escolas foram bem escolhidas? Quais eram as características dos laptops? A amostra dos alunos foi definida corretamente? Como o fato de as escolas não terem Internet afetou os resultados? Os critérios e a forma de avaliação dos resultados foram adequados?
Revisito o tema porque se desenvolveu uma interessantíssima discussão no Educational Technology Debate (onde aparecem todas as imagens deste post), que resumo e comento em seguida.
Oscar Becerra, que participou do design e da implementação do programa, faz inicialmente a sua defesa.
Ele afirma que o projeto era enxergado como uma maneira de reduzir a divisão digital e que, na visão da equipe, oferecer à crianças acesso a uma tecnologia planejada como uma ferramenta para o aprendizado seria um passo correto.
Becerra afirma ainda que não se poderia esperar mágica nem resultados em tão pouco tempo, e que com a medição de quanto de matemática ou história os alunos aprenderam, da maneira tradicional, não se conseguirá enxergar o verdadeiro impacto do programa.
As atitudes e expectativas dos alunos, pais e professores teriam mostrado melhoras. Os alunos se sentiriam melhor e sua disposição para aprender coisas que eles consideram importantes teria aumentado significativamente, tendo os alunos se tornado mais críticos em relação ao sistema escolar e demandando mais dele, o que impactaria o sistema no médio prazo. Mas Becerra não compartilha esses dados, porque estariam ainda em espanhol e ele os estaria usando em sua tese. Estranho!
Segundo Becerra, qualquer intervenção individual terá provavelmente impacto limitado: a combinação de intervenções é que traria efeitos no longo prazo. Assim, o UCA no Peru estava associado a diversas ações, como: um programa de formação de professores em linguagem e matemática; maiores exigências e mudanças na carreira; um currículo articulado comum para o ensino fundamental e médio; compartilhamento das expectativas de resultado escolar com os pais, para envolvê-los nos esforços para melhora da qualidade; censo nacional de avaliação dos alunos e difusão de seus resultados; melhoras na infraestrutura e novos equipamentos.
A discussão nos comentários ao texto de Becerra é muito interessante. Reflete-se por exemplo que a percepção dos benefícios reais de um projeto depende de como o medimos. Alguns benefícios seriam difíceis de medir e outros, apenas observáveis no longo prazo. As TICs produziriam um senso de pertencimento, de inclusão e até mesmo de sucesso, que afetariam outros aspectos das nossas vidas mas não seriam detectados por nenhuma medida quantitativa. Os objetivos iniciais do UCA no Peru, por exemplo, não incluíam a melhora em matemática, leitura e escrita, história ou geografia, critérios pelos quais seu sucesso teria sido medido no estudo. O UCA é um projeto sócio-educacional, então ele pode perseguir objetivos em ambas esferas. Além disso, um programa de tal magnitude e complexidade não poderia ser resumido em poucos indicadores; haveria muito mais a ser dito a respeito do programa: seus componentes individuais (e sua interação), políticas, os aspectos inesperados que emergiram, suporte e infraestrutura, e o trabalho detalhado das crianças (em casa e nas escolas).
Há uma crítica muito interessante à estratégia de se entregar diretamente ao aluno a oportunidade de aprender, deixando o professor em segundo plano. A criança, “naturalmente” mais capaz de entender a tecnologia, estimularia o professor a aprender. Por isso não seria necessário capacitar convenientemente os professores, porque os laptops não eram para eles, mas para as crianças: uma justificativa aberrante para as falhas da formação de professores no projeto.
Discute-se também que o UCA é uma opção pública que envolve gastos, que poderiam ter outro foco: melhorar a motivação em relação ao trabalho escolar, as habilidades para o século XXI, conhecimento básico de Tecnologia da Informação ou habilidades básicas em alfabetização e números. Traria a educação mediada por computadores, como no caso do UCA, oportunidades de vida realistas para crianças pobres na América Latina? Ou existiram outras abordagens, como treinamento vocacional ou para o trabalho?
Em What Do OLPC Peru Results Mean for ICT in Education?, Amos Cruz reflete sobre os resultados do programa para o campo da tecnologia educacional.
Quando o UCA começou a ser planejado, em 2005, os laptops tinham começado a superar os PCs, e os notbebooks apareceriam apenas anos depois. O cenário de hoje é totalmente diverso, com a introdução dos tablets e a prevalência dos smartphones, apesar de essa não ser a realidade nas regiões menos desenvolvidas.
Segundo Cruz, parte da explicação para os resultados do estudo poderia ser o baixo nível de suporte técnico e pedagógico oferecido aos professores, que tiveram um treinamento de 40 horas. Isso teria atrasado a integração dos computadores, mas um tempo mais longo de avaliação não deveria identificar diferenças significativas.
Para o sucesso de um programa, seria necessário identificar um problema que guiasse o seu design, completado com inputs, atividades e outputs. Na avaliação, seria importante distinguir outputs de resultados, assim como assegurar alinhamento com critérios de mensuração e avaliação.
O UCA do Uruguai teria tido um objetivo claro de inclusão social, focando em acesso, uso e experiência, buscando a utilização social como um resultado. No caso do Peru, os resultados dos testes de matemática, linguagem e cognição mostraram outputs, mas sem conexão clara com os objetivos formulados pelo programa, que buscavam treinamento pedagógico e aplicação. Se os objetivos e os resultados não estão claramente alinhados com os critérios de avaliação, a eficiência de um programa não pode ser medida com propriedade. É importante, portanto, ser claro sobre o que está sendo medido antes que a mensuração comece: é a inserção de um objeto ou a introdução de um processo?
Cruz faz ainda outra reflexão: a simples presença de laptops seria suficiente para energizar as crianças para aprender? Isso poderia ser visto como um exagero do modelo de autoaprendizagem. Focar na avaliação do treinamento, conteúdo e suporte pudesse fornecer mais insights em relação aos efeitos dos processos. E um foco no currículo e na experiência pedagógica poderia fornecer uma melhor compreensão das intervenções de processos do que inserções de objetos.
Segundo Cruz, o design dos programas UCA no Uruguai e no Peru era muito parecido, mas o do Uruguai desenvolveu-se com o input da comunidade, que ajudou a formatar as atividades, permitindo que o programa atingisse seus objetivos. Fatores geográficos, socioeconômicos e políticos mais amplos talvez tenham impedido o Peru de atingir seus objetivos. Ou talvez o sucesso do Uruguai tenha sido um reflexo de uma estrutura social que existia antes do UCA. Os dois cases devem servir, de qualquer maneira, para mostrar que o sucesso de um programa não depende de uma máquina individual, mas antes de envolver os stakeholders e o contexto.
Cruz defende ainda que decisões como de programas UCA devem ser avaliadas em função do custo-benefício em relação a opções alternativas.
Nos comentários, Becerra discorda do fracasso do programa, apresentando os números das escolas, dos professores e alunos que tiveram acesso à Internet com o programa, e dos professores que foram treinados.
Em Where is the Focus of OLPC in Peru and ICT4E in General?, Carmen Strigel questiona os objetivos do programa peruano e seu alinhamento com a avaliação.
O programa combina elementos de docência eletrônica e recursos de aprendizagem (conteúdo), dispositivos para acessar o conteúdo e treinamento de professores.
O objetivo do UCA do Peru era aperfeiçoar a qualidade de educação primária pública, especialmente a das crianças nos locais mais remotos e na extrema pobreza, priorizando escolas de múltiplas séries com apenas um professor.
Carmem defende que precisamos nos basear mais em evidências, ser mais específicos e realistas quando falamos sobre impactos antecipados, e evitar exagero na generalização nas descrições dos nossos programas e a retórica geral sobre o uso de tecnologias em educação.
Iniciativas de tecnologia educacional investem recursos e esforços em várias frentes ainda muito no começo, sem ter mesmo a chance de chegar à sala e validar seu impacto onde seria mais importante: no nível do aluno.
Em ambientes em que os recursos são extremamente limitados, a escolha de implementar certo programa é no fundo uma decisão contra uma abordagem alternativa. Carmem questiona como é possível justificar não esperarmos que iniciativas abrangentes de tecnologia educacional, no nível da sala de aula, foquem em resultados de aprendizagem quando mesmo as mais fundamentais habilidades críticas para o aprendizado futuro, como leitura básica, não estão sendo adquiridas por grande quantidade das crianças?
Carmem propõe que sejamos mais específicos sobre onde esperamos que a tecnologia educacional possa causar impacto, definamos impacto mais restritamente e desenvolvamos um mapa dos passos, incluindo outputs e resultados para chegar lá.
Com tal objetivo focado em mãos, os implementadores de programas podem então alinhar atividades (provisão de conteúdo, equipamento, treinamento etc.) e planejar modelos de monitoração e avaliação que forneçam informações relevantes para o projeto, internamente, e para o corpo de conhecimento mais amplo.
O plano piloto do UCA peruano teria desvelado um número de questões de design de hardware e instalação técnica que foram em seguida resolvidas, mas parece haver pouca documentação sobre quaisquer mudanças no modelo pedagógico relacionado aos recursos educacionais ou treinamento de professores, sugeridas como resultado do piloto.
O primeiro estudo da IDB, conduzido em 2009, percebeu um decréscimo na utilização dos computadores na sala de aula, que poderiam ser um reflexo da necessidade de maior suporte técnico e pedagógico para os professores, assim como a falta de sessões de planejamento, atividades e recursos digitais apropriados para o uso educacional. Embora em outros recursos, um processo de melhora iterativo para a implementação seja indicado, o relatório recente não indica ajustes de design na implementação, em direção ao aumento de suporte pedagógico ou recursos apropriados para uso educacional, entre 2009 e 2010.
Em países com poucos recursos, Carmem sugere foco em problemas muito específicos e objetivos mensuráveis para intervenções de TICs, além de se evitar declarações de objetivos gerais e superambiciosas. Devemos tornar-nos mais sistemáticos e rigorosos no monitoramento de iniciativas de TICs para a educação, para descobrir primeiro, em pequena escala, o que funciona (ou não) para contextos específicos, antes de ampliar a escala, para então contribuir com resultados mensuráveis – especificamente em área essenciais de aprendizado.
Nos comentários, afirma-se que um dos pontos mais flagrantes em muitos relatórios do UCA (e tecnologia educacional em geral) é a falta pervasiva de acesso à Internet e recursos de biblioteca nas escolas carentes. Qual seria a solução? Uma biblioteca/centro de mídia + um informacionista habilidoso, bem remunerado e adequadamente motivado por escola, com acesso gratuito à Internet de banda larga para que as pessoas possam acessar cada vez mais recursos educacionais abertos, adaptados para uso em uma crescente suíte de (traga seu próprio) dispositivos – e os informacionistas estão lá para guiar esse uso.
Enfim, um debate que tende ainda a continuar, e que ainda espero avaliar e comentar com mais atenção.
