Dia 26 de novembro é o Dia Nacional da Educação a Distância, data foi instituída pela ABED – Associação Brasileira de Educação a Distância em 2003.
Daqui a pouco começa o 5º Encontro CIEE/ABED de EaD, que terá como tema: “Redes Sociais na Educação”.
O evento é gratuito e será transmitido pela Internet.
Entre 10:30 e meio dia, moderarei a mesa “Quem utiliza redes sociais?”
[photopress:VCIEEABED.jpg,full,vazio]
The goal of my final project for EdTech505 is to evaluate an online course on Philosophy and Professional Ethics, which will be offered to hundreds Business undergraduate and graduate students next semester. The course has 8 (eight) online classes which are now on the Flash version phase. My responsibility now is to validate the course, that is to say, to review the 8 classes for which I produced content, which was transformed to multimedia by a third party vendor.
I am mainly willing to suggest final changes for the course.
I already have data collected from the professor who works as tutor for the courses, which sent improvement suggestions for the 8 classes. I plan to follow in a one-to-one way about 2 to 3 students, following how they flow through the 8 classes, ask them to read aloud, note the doubts they have, where they need to stop etc. Besides that, I have elaborated a long rubric which will be used for about 150 students at a distance, who will choose one of the classes, follow it from beginning to end, and apply the evaluation rubric.
Then I plan to consolidate all the data collected, giving feedback to the university with the main important changes to be made, in a way that it does not generate too much work for the multimedia vendor.
I have learned through the project up to this point, among other important things, that the elaboration of the rubric is a key point in the evaluation process.
I hope to have enough data next week, so that during the weekend I am able to work on the changes suggestions, and finish the project.
Unfortunately, I will not be able to evaluate the questions that will be used as assessment for the students, which might be another evaluation project. In the same sense, I will not be able to evaluate knowledge retention after the classes – students will only be analyzing design, clarity, and content organization.
Dois eventos em comemoração ao Dia Nacional da EaD ocorrerão no Second Life nesta semana. E os dois são gratuitos.
A RICESU promove palestras na sexta, 26/11, das 14 às 16:30, com o grupo da Unisinos.
[photopress:Evento_EAD_RICESU2010.jpg,full,vazio]
O Portal Educação promove o IV Simpósio Virtual em EaD durante todo o sábado, 27/11, cf. a programação. Estarei por lá das 11 às 12, conversando sobre Games em Educação.
O número 12 (11/2010) da Revista Dirigida já está disponível online.
Nela você encontrará um Guia Nacional de cursos superiores a distância no Brasil, uma pesquisa da FGV sobre o impacto na empregabilidade e nos salários comparando cursos a distância e presenciais, e uma matéria sobre a EaD na Ricesu.
Na matéria Parabéns pra a Internet! E para todos nós… há várias falas minhas (p. 49-50), que reproduzo abaixo:
“Hoje, com a Web 2.0, até esses ambientes [LMSs] passaram a ser questionados, pois é possível fazer praticamente o que fazemos com eles em ferramentas como Blogs, Wikis, PodCasts, Vídeos, Twitter, Facebook etc. Além disso, a internet passou a ser utilizada em apoio à educação presencial. Alunos de diversas idades pesquisam material na internet, professores (e instituições) e alunos se comunicam, atividades são realizadas online etc.”, pontuou o professor João Mattar, autor de livros, pesquisador e blogueiro especializado em tecnologia na educação.
Autor de diversos artigos e livros, como “Metodologia Científica na Era da Informática”, “ABC da EAD”, “Second Life e Web 2.0 na Educação” e “Guia de Educação a Distância”, o professor da Universidade Anhembi Morumbi acredita que o acesso mais democrático e fácil à informação e ao conhecimento, agora com os ebooks, também é um trunfo do uso da internet em educação. Mattar ainda lembra que alguns autores consideram que a combinação entre comunicação por satélite e internet seria a revolução do momento, enquanto muitos outros defendem que a internet é mais do que suficiente como ambiente para a educação.
“Mesmo o potencial pedagógico da televisão digital tem sido questionado, em função do crescimento do acesso à internet e das suas possibilidades interativas. Não por acaso, a banda larga foi tema importante no debate à sucessão presidencial. Entretanto, ao que parece, estamos ainda muito distantes do que já foi realizado em outros países, em que o acesso à internet já é bem mais difundido”, disse João Mattar.
Nesta quinta-feira, 25/11, ministrarei uma palestra no 2º Fórum de Educação a Distância do Poder Judiciário, organizado pelo CNJ em parceria com a ABED, que será realizado em Brasília de 24 a 26/11.
O título da minha palestra é Redes Colaborativas e Interatividades, e será realizada das 11:30 às 13:00.
Cf. o programa completo.
This is how the AECT Initial Standards present evaluation:
“Candidates demonstrate knowledge, skills, and dispositions to evaluate the adequacy of instruction and learning by applying principles of problem analysis, criterion-referenced measurement, formative and summative evaluation, and long-range planning.”
A supporting explanation for Problem Analysis is:
“Problem analysis involves determining the nature and parameters of the problem by using information-gathering and decision-making strategies” (Seels & Richey, 1994, p. 56). ECIT candidates exhibit technology competencies defined in the knowledge base. Candidates collect, analyze, and interpret data to modify and improve instruction and ECIT projects.
Performance Indicatives of the Evaluation Standard for Problem Analysis are:
5.1.1 Identify and apply problem analysis skills in appropriate educational communications and instructional technology (ECIT) contexts (e.g., conduct needs assessments, identify and define problems, identify constraints, identify resources, define learner characteristics, define goals and objectives in instructional systems design, media development and utilization, program management, and evaluation).
5.1.2* Apply knowledge of current trends and issues in the field of school library media.
Needs assessments and learner characteristics are an essential part of evaluation, as it works as the basis of the remaining process. Based on the identified needs, goals and strategies should be structured. In the case of the evaluation project I am developing for an online Philosophy course for Business students, this was conducted indirectly, through interviews with management and through a questionnaire proposed for business undergraduate students.
Evaluators also need to identify and define problems, constraints and resources. In the case of the mentioned project, as I teach at the university where the course will be offered, problems, constraints and resources (both for students and faculty) were easily identified.
Defining goals and objectives for instruction is one of the key moments in evaluation. For the online Philosophy course, content and learning oObjectives were organized taking into consideration the number of 8 lessons by which the discipline should be divided, and applying the Elaboration Model by Reigeluth.
Now that the material is developed, in Flash form, one-to-one evaluations will be performed, followed by a large number of evaluations to be performed at a distance. This, mixed with the feedback by an expert (who works as the tutor for the course) will help to review the course, for offering next semester.
[photopress:CPMFN__o.jpg,full,vazio]
Eu (e este blog) somos foco total nas manifestações contra o retorno da CPMF, que ocorrerão em várias cidades do Brasil em 20/11 – próximo sábado, às 11 horas da manhã.
Acompanhe todas as informações pelo Twitter e pelo blog do movimento #CPMFNAO.
No dia 20/11, estarei na manifestação que ocorrerá no Largo São Francisco.
A volta da CPMF é fraude eleitoral e golpe. Se foi uma brincadeira ou um balão de ensaio não importa, vou às ruas do mesmo jeito para deixar claro que não gosto de brincadeiras ou ensaios deste tipo.
[photopress:s__logo.gif,full,vazio]
O grande Eri, do ótimo blog Web para Educadores, dentre várias outras presenças de destaque na Internet, defenderá sua dissertação de mestrado nesta quinta-feira, 11/11, 16h, na Rua Caio Prado 102, auditório do 1 andar. Imperdível (eu dou aula então provavelmente não poderei estar presente). Segue o convite.
[photopress:Disserta____o_Eri.jpg,full,vazio]
Tivemos (mais uma vez) problemas com o ENEM. No momento em que escrevo este post, uma liminar da Justiça Federal do Ceará suspendeu o exame no Brasil. A incapacidade é incrível, mas nem é disso que quero falar.
O mais incrível (se é que é possível escolher o mais incrível nessa confusão toda) é que assim que começaram a se configurar os problemas, ontem, a Assessoria de Comunicação Social do MEC, na sua conta no Twitter, em vez de informar lançou duas ameaças:
3:33 PM Alunos q já “dançaram” no Enem tentam tumultuar com msgs nas redes sociais. Estão sendo monitorados e acompanhados. Inep pode processá-los.
[photopress:Ameaca_MEC_alunos.png,full,vazio]
3:34 PM Repórter do JC.com pode ser processado. Cometeu ato ilícito ao atentar contra as regras do certame.
[photopress:Ameaca_MEC_reporter.png,full,vazio]
A UNE (que sempre tem apoiado o governo nos últimos anos, é bom lembrar) reagiu rápido – cf. UNE pede retratação por frase publicada em Twitter do Inep e UNE e UBES criticam erros do Enem e lançam central de denúncias e reclamações no próprio site da UNE. Não sei se houve reações da imprensa.
É um descalabro que um órgão de assessoria de imprensa do MEC, em vez de informar ou orientar os alunos, principalmente num momento de problemas com o ENEM, use o Twitter para ameaçar os que “já dançaram” e um repórter. Todo educador ou instituição ligada à educação deve protestar contra essa atitude do MEC, na verdade todo cidadão deve reagir a esses tweets. Afinal, o MEC tem um Órgão de Assessoria de Comunicação Social ou um Órgão de Controle e Perseguição (pago com nossos impostos)? Vale lembrar também que o MEC fez campanha política nas últimas eleições, inclusive pelo Twitter.
As estatísticas de educação no Brasil mostram que estamos há anos praticamente patinando sem sair do lugar. Como professor, sinto-me responsável e ao mesmo tempo envergonhado. Estamos sem dúvida no caminho errado, não apenas na educação presencial, mas principalmente na Educação a Distância. Para tentar sair do lugar, precisamos de um Ministério da Educação capaz e técnico, não político e perseguidor.
Em 11/10 a Assessoria de Comunicação Social do MEC se retratou: “A Assessoria de Comunicação Social do MEC se desculpa pelos termos pouco elegantes usados na rede social durante a realização do Enem.”
A avaliação (ou evaluation de programas, processos, procedimentos, produtos ou cursos, não assessment, que significa avaliação dos alunos) pode ser dividida basicamente em: formativa (enquanto cursos etc. estão sendo desenvolvidos) e somativa (quando os cursos já estão prontos).
Neste post, dou uma rápida passagem por 4 capítulos que abordam o tema.
Morrison, G. R., Ross, S. M., Kalman, H. K., Kemp, J. E. (2011). Designing effective instruction (6th Ed.). Hoboken, NJ: Wiley [Ch. 13. Using Evaluation to Enhance Programs: Conducting Formative and Summative Evaluations]
O longo capítulo (36 páginas) aborda diversos procedimentos para conduzir avaliações formativas e somativas.
Carey, L. M., & Dick, W. (1991). Summative evaluation. In L. J. Briggs, K. L. Gustafson, & M. H. Tillman (Eds)., Instructional design: Principles and applications (2nd Ed.), pp. 269-311. Englewood Cliffs, NJ: Educational Technology Publications.
A avaliação somativa serve para ajudar educadores a determinar se uma instrução deve ser continuada ou adotada. O capítulo apresenta inicialmente uma visão geral dos fundamentos da avaliação somativa, em seguida descreve o design desse tipo de avaliação, e por fim revisa um conjunto de padrões para examinar o design, a condução e os relatórios envolvidos em uma avaliação somativa.
Dick, W., & Carey, L. M. (1991). Formative evaluation. In L. J. Briggs, K. L. Gustafson, & M. H. Tillman (Eds)., Instructional design: Principles and applications (2nd Ed.), pp. 227-267. Englewood Cliffs, NJ: Educational Technology Publications.
O capítulo apresenta uma breve descrição de abordagens clássicas de avaliação e sua relação com o processo de design instrucional. São discutidos: opinião subjetiva de um especialista, avaliação objetiva (baseada na monitoração dos resultados da instrução em função dos objetivos instrucionais), avaliação baseada na administração de programas (cursos ou currículos) e avaliação formativa, para a qual o artigo sugere então uma série de procedimentos.
1. Testes um-a-um podem envolver, dentre outros, os critérios de clareza, impacto e viabilidade. O texto apresenta uma tabela com os tipos de informação adequados para cada um desses critérios, que envolve: a) clareza da instrução (a1. mensagem - nível de vocabulário, complexidade das sentenças, complexidade da mensagem, introduções, elaborações, conclusões e transições; a2. articulações - contextos, exemplos, analogias, ilustrações, demonstrações, revisões e resumos; e a3. procedimentos - sequência, tamanho do segmento, transição, ritmo e variação); b) impacto no aprendiz (b1. atitudes - relevância, ou seja, utilidade da informação e habilidades; confiança, ou seja, quão fácil/difícil a informação e as habilidades são para o aprendizado; e satisfação com as habilidades aprendidas; b2. sucesso – clareza das orientações e itens para as avaliações propostas, e notas nas avaliações propostas); e c) viabilidade (c1. aprendiz – maturidade, independência e motivação; e c2. recursos – tempo, equipamento e ambiente). O capítulo discute também o comportamento dos avaliadores e aprendizes escolhidos para os testes.
2. Testes em pequenos grupos procuram avaliar a instrução com mais aprendizes, e o texto discute também estratégias para esse tipo de avaliação. 3. Testes de campo, por sua vez, procuram simular o ambiente em que a instrução será aplicada numa situação real, como uma revisão final. Para os 2 casos, são apresentados instrumentos a serem utilizados.
O capítulo discute ainda o design de estudos de avaliação formativa para instruções de longa duração, como um semestre ou um ano, assim como o processo de revisão da instrução em função dos resultados da avaliação.
Por fim, discute tipos de pesquisa realizados sobre avaliação formativa.
Smith, P. L., & Ragan, T. J. (2005). Instructional design (3rd Ed.). Hoboken, NJ: Wiley. [Ch. 19. Formative and Summative Evaluation]
Já tinha resenhado este capítulo por aqui mas tinha prometido voltar a ele para ampliar a resenha, então aqui vai.
Editoras comerciais de materiais instrucionais (softwares ou livros-texto) não costumam conduzir avaliações formativas. Muitas vezes elas enviam cópias de materiais instrucionais para treinadores ou professores, visando obter suas opiniões, mas em geral o material está na forma final, não na forma em que revisões substanciais ainda são possíveis. Para textos tradicionais, por exemplo, apenas a primeira fase das quatro que serão apresentadas a seguir (revisão de um especialista) tem sido normalmente aplicada pela indústria editorial. Além disso, professores e treinadores não são as melhores fontes de informação para prever a eficiência dos materiais: a mellhor fonte de informação para isso são os próprios aprendizes. Mais do que a opinião dos aprendizes sobre a qualidade da instrução, deve-se procurar medir o aprendizado resultante da instrução.
O capítulo descreve em detalhe quatro estágios de avaliação formativa: revisões do design, revisões de especialistas, validação de aprendizes e avaliação contínua.
As revisões de design ocorrem antes e do início do desenvolvimento dos materiais instrucionais. Podem envolver revisões dos objetivos, da análise do ambiente e dos aprendizes, da análise de tarefas e das especificações das avaliações (dos aprendizes) e dos blueprints.
As revisões de especialistas em geral ocorrem após o desenvolvimento dos materiais (ainda em forma de esboço), mas antes de seu uso efetivo com os aprendizes. Podem envolver especialistas em conteúdo, especialistas em design instrucional, especialistas em educação de conteúdo específico ou especialistas nos aprendizes (como professores), dando-se maior relevância às observações feitas nas suas respectivas áreas de especialidade. Perguntas que podem ser respondidas por especialistas incluem: O conteúdo é adequado e atualizado? O conteúdo apresenta uma perspectiva consistente? Os exemplos, exercícios práticos e feedback são realistas e adequados? A abordagem pedagógica é consistente com a teoria instrucional atual na área do conteúdo? A instrução é apropriada para os aprendizes-alvo? As estratégias instrucionais são consistentes com os princípios de teoria instrucional? Algumas observações feitas por especialistas, nesta fase, podem ser utilizadas para a elaboração de perguntas para os aprendizes, na fase seguinte.
A validação por parte dos aprendizes é apresentada em 3 fases: avaliação um-a-um, avaliação em pequenos grupos e testes de campo.
A avaliação um-a-um deve ser realizada com 2, 3 ou mais aprendizes. Os tipos de erro que podem ser localizados nesse estágio incluem: erros tipográficos, sentenças pouco claras, orientações ruins ou inexistentes, exemplos inapropriados, vocabulário não familiar, páginas ou figuras rotuladas inadequadamente, ilustrações que não comunicam intenção e frames em sequências incorretas. As perguntas gerais que devem ser respondidas incluem: Os aprendizes compreendem a instrução? Os aprendizes sabem o que fazer durante a prática e os testes? Os aprendizes conseguem interpretar os gráficos no texto? Os aprendizes conseguem ler todo o material textual? O capítulo propõe então a função do designer e do aprendiz durante o processo, procedimentos (como leitura em voz alta enquanto o aprendiz interage com o material, e testes) e a exposição e interpretação dos dados.
Avaliações em pequenos grupos prescindem da intervenção do designer, que deve atuar mais passivamente, como observador. Questões que podem ser respondidas nesta fase incluem: Os aprendizes possuem as habilidades de entrada previstas? Eles tiveram sucesso com a instrução (se não, quais revisões são necessárias)? Eles possuem habilidades não previstas? Quanto tempo leva para os aprendizes completarem a instrução? Como eles se sentem em relação à instrução? Se seus sentimentos são negativos, como eles afetam seu rendimento? Que revisões são necessárias para melhorar suas atitudes em relação à instrução? São também apresentados os papeis do aprendiz e do designer, procedimentos, coleta, exposição e análise dos dados (em detalhes, incluindo testes de entrada, saída e outros níveis). Durante esta fase, os alunos devem lidar com a instrução como se estivessem no seu ambiente real de aprendizagem.
Testes de campo, por fim, procuram avaliar a instrução no seu ambiente real com um grande número de alunos, no mínimo 30. São também propostos papeis e procedimentos.
Além da proposta de avaliação contínua, o capítulo sugere também estratégias detalhadas para a avaliação somativa, incluindo a resolução dos problemas identificados na análise das necessidades da instrução, a transferência do aprendizado, os resultados da aprendizagem, atitudes etc.
