• Fernando Giannini

Os dados podem torná-lo um professor melhor?

Terri L. Renner se perguntava o que fazia com que alguns de seus estudantes fossem mais bem-sucedidos do que outros.

Photo by Luke Chesser on Unsplash


Talvez, pensou Renner, um professor sênior da Escola de Assuntos Públicos e Ambientais da Universidade de Indiana em Bloomington, fosse apensa uma questão de preparação. Como seu curso de finanças da saúde envolve contabilidade, ela esperava que os estudantes que já haviam feito as aulas desse assunto se saíssem bem no dela - mas uma revisão rápida não mostrou nenhuma correlação clara. Então, o que, exatamente, preparou melhor os estudantes para cursos quantitativos rigorosos?


Esta não foi uma pergunta inútil. Como as matrículas no programa de Indiana em gestão e política de saúde mais do que triplicou nos últimos 10 anos, o número de estudantes com dificuldades nos cursos do programa também aumentou. Os membros do corpo docente adicionaram pré-requisitos a alguns cursos, mas eles tiveram o efeito desejado?


Para encontrar as respostas, Renner, que faz parte da comissão curricular de graduação da escola, recorreu a um recurso que se escondia à vista de todos: o tesouro de dados que sua instituição coleta sobre seus estudantes.


Com a ajuda de colegas especializados em análise de dados, Renner passou os últimos dois anos analisando dados demográficos dos estudantes, trabalhos anteriores, pontuações no SAT e notas. Em um experimento, ela analisou os dados de milhares de estudantes que haviam feito certos cursos de finanças ou economia de saúde, comparando aqueles que haviam recebido as regras antigas com aqueles que tinham que fazer os pré-requisitos.


Os resultados foram semelhantes aos que ela encontrou em sua pesquisa informal inicial: Não houve diferença significativa no desempenho entre os alunos que haviam feito os pré-requisitos e os que não tinham.


Sua pesquisa levantou questões importantes sobre o valor dos pré-requisitos. Essas questões são ainda mais desafiadoras, diz Renner, porque os estilos de ensino dos instrutores, o conteúdo do curso e o nível de rigor podem variar muito.


Mas como ela foi capaz de testar suas ideias em grande escala, usando muitos dados, seu departamento pode usar suas descobertas para se envolver em discussões mais profundas sobre os requisitos do curso, o que os estudantes estão aprendendo e como eles podem transferir conhecimento de um curso para o Próximo.


“Temos escolhido os pré-requisitos com base na intuição e não em muitos fatos”, diz ela. “O que isso fez por nós é nos dar uma verdadeira abertura. As coisas nem sempre são o que esperamos. ”

Nada disso teria sido possível sem o apoio que ela recebeu para ajudá-la a fazer experimentos com os dados. Quando se trata de análise de aprendizagem, ela observa, “há muitos dados disponíveis,“ mas eles não existem na forma que os torna fáceis de analisar ”.


A experiência da Renner destaca o potencial e o desafio da análise de aprendizagem para os membros do corpo docente. Esses dados estão em todos os campus universitários. Transcrições de cursos, dados demográficos, ajuda financeira, dados socioeconômicos, pesquisas de estudantes - todos são tratados e analisados ​​com fluidez e sofisticação crescentes por administradores, reitores, orientadores de alunos e pesquisadores institucionais.


Mas quantos professores têm acesso, ou mesmo consideram explorar, os tipos de dados que poderiam transformar a experiência de aprendizagem dos seus estudantes? Um instrutor pode abrir o painel de seu sistema de gerenciamento de curso para ver quem entregou o dever de casa. Mas mergulhos mais profundos em análises de aprendizagem impulsionados pela curiosidade do corpo docente são mais raros, dizem os defensores desse tipo de trabalho.


Os sistemas de gerenciamento de aprendizagem e o material didático digital podem oferecer suporte a análises refinadas do comportamento dos estudantes. Cada clique, ou pressionamento de tecla pode ser registrado e avaliado para ver o que diz sobre o aprendizado do estudante. Clickers, aplicativos e outras tecnologias podem ser incorporados à pesquisa sobre a educação.


Em muitos casos, porém, os professores consideram esses dados intrigantes. Outros são curiosos, mas não têm tempo para explorar. E ainda outros podem concluir que as informações nos painéis de seus sistemas de gerenciamento de aprendizagem não respondem às perguntas que eles gostariam de fazer.


“Se essas visualizações extravagantes não fizerem sentido ou não forem interpretáveis ​​para os membros do corpo docente agirem”, diz Marsha C. Lovett, vice-reitora associada para o ensino de inovação e análise de aprendizagem na Carnegie Mellon University, então “elas são apenas fotos bonitas. ”


Os professores geralmente contam com uma combinação de intuição, experiência, prática padrão e dicas de seus estudantes para descobrir o que funciona e o que não funciona em suas salas de aula. Mas agora as faculdades estão cada vez mais buscando fazer pelos instrutores o que fizeram pelos conselheiros e outros - usar dados e análises para fazer seu trabalho com mais eficácia.


Renner trabalhou com colegas do Centro de Análise de Aprendizagem e Sucesso do Aluno de Indiana , que auxiliam acadêmicos interessados ​​nesse tipo de pesquisa. Ela participou de um programa de bolsa de estudos, que ela credita por ajudá-la a compreender melhor seus estudantes e planejar intervenções apropriadas.


Outras grandes universidades, como Carnegie Mellon, a University of California at Davis e a University of Central Florida, também têm centros onde especialistas em ciência da aprendizagem e análise de dados trabalham ao lado de professores para conduzir pesquisas sobre a prática de aprendizagem.


Instituições com orçamentos mais reduzidos, como o Montgomery County Community College, na Pensilvânia, ou a Colorado Technical University, experimentam em menor escala, ajudando os instrutores a projetar e testar intervenções em sala de aula.


Fazer com que os membros do corpo docente vejam o valor desse tipo de pesquisa, dizem os defensores, é um próximo passo crítico.


“O corpo docente típico de um campus como o nosso é como ter uma venda. Eles não sabem o que acontece com os estudantes antes de eles entrarem na sala de aula e provavelmente não sabem o que acontece quando eles saem da sala de aula ”, disse Dennis Groth, vice-reitor de ensino de graduação em Indiana.


Com a análise, diz ele, “as pessoas dizem: 'Posso ver como os estudantes mudam de nosso curso para outro, ou o que acontece com os estudantes com base na nota que recebem'”.


Por meio do programa de bolsistas de análise de aprendizagem do centro de Indiana, iniciado em 2015, os membros do corpo docente submetem propostas de projetos de pesquisa que podem ser respondidos com dados, com o objetivo de poder agir sobre suas descobertas para melhorar o sucesso do estudante.


Aqueles cujas propostas são aceitas trabalham com especialistas em pesquisa institucional, dados e análises à medida que desenvolvem seus projetos. Eles se reúnem regularmente com outros bolsistas para compartilhar seu trabalho e apresentar um relatório final que é tornado público.


“Os dados reais são tão interessantes e fascinantes que o corpo docente volta para um segundo, terceiro e quarto ano”, diz George Rehrey, diretor do centro de análise de aprendizagem de Indiana.


As áreas de pesquisa se enquadram em quatro categorias amplas, diz ele: escolha do estudante, dados demográficos, preparação e desempenho.

Algumas dessas pesquisas envolvem a coleta de dados qualitativos, por meio de pesquisas com estudantes, além de métricas mais tradicionais, como notas. Em um projeto, a ser executado por vários anos, os membros do corpo docente da Faculdade de Artes e Ciências de Indiana e da Escola de Informática, Computação e Engenharia usaram uma pesquisa de sete perguntas para medir a "surpresa da nota" em grandes cursos introdutórios - aquelas expectativas irrealistas que os estudantes têm para suas notas - e as consequências para sua autoconfiança e seu desempenho em sala de aula. Potencialmente, os professores poderiam usar os resultados para trabalhar com os estudantes para definir melhor as expectativas das notas, levando a resultados acadêmicos mais sólidos.


Outro membro do corpo docente, Ben Motz, espera fornecer aos instrutores mais e melhores informações sobre seus estudantes antes mesmo de eles se encontrarem em sala de aula.


Motz, um cientista pesquisador do departamento de ciências psicológicas e do cérebro, ajudou a redesenhar algo chamado relatório do perfil do estudante, que dá aos professores uma visão geral rápida dos estudantes matriculados em um curso. Como incluía apenas algumas informações, como status de primeira geração, pontuação média no SAT do grupo e o trabalho anterior mais comum, era de valor limitado. E foi gerado apenas a pedido.


Uma nova versão que Motz está testando apresenta informações mais completas sobre cursos e notas anteriores e é mais facilmente pesquisável. Um professor ensinando um curso pesado de matemática, por exemplo, poderia ver que apenas 40% dos estudantes matriculados obtiveram A ou B em uma aula anterior de matemática e desenvolver seu plano de aula de acordo. O objetivo, diz Motz, é que esses relatórios sejam gerados automaticamente para cada instrutor em cada curso, com bastante antecedência.


Ele agora está trabalhando com os Serviços de Tecnologia da Informação da Universidade de Indiana para testar um sistema de intervenção projetado para dar dicas aos estudantes, por meio de um aplicativo chamado IU Boost, para melhorar seu desempenho. Em um esforço piloto neste outono, o aplicativo enviou notificações push para os estudantes quando eles não haviam enviado uma tarefa com prazo de entrega de quatro horas. Os pesquisadores viram aumentos significativos no número de vezes que os estudantes olhavam as páginas de tarefas e diminuições nas tarefas perdidas, em comparação com um grupo controle.


Um dos grandes desafios para usar os dados dos alunos com mais eficácia, diz Motz, é ajudar os instrutores a descobrir o que está disponível e como usá-lo. Painéis de análise de aprendizagem podem parecer um pouco aleatórios, diz ele. “Existem sérios problemas para dar informações ao corpo docente e apenas ver o que funciona.”


Zhongzhou Chen, um professor assistente de física na Flórida Central, lidou com as limitações dos dados existentes sobre a aprendizagem dos estudantes, criando melhores ferramentas de pesquisa em seu curso. Chen, que tem formação em pesquisa educacional, ministra um grande curso introdutório à física no qual os estudantes têm se esforçado.

Um instrutor usando um sistema típico de gerenciamento de aprendizagem pode ter dificuldade em descobrir por que alguns estudantes estão tendo dificuldades. Você pode ver se um estudante abre uma página, diz ele, mas ele está revisando um conteúdo que já conhece? Ou talvez ele esteja apenas olhando para a página e não aprendendo nada. “Você pode coletar o máximo de dados que desejar sobre as coisas tradicionais”, diz Chen, “mas o nível de percepção que você obterá é muito baixo”.


Ele está construindo seu próprio conteúdo de sistema, por meio do qual pode rastrear o comportamento dos estudantes com maior precisão. Cada lição online inclui um pré-teste para determinar o que os estudantes já sabem; materiais de instrução, como leituras, conjuntos de problemas, vídeos; e questionários de acompanhamento.


Ele também mapeia os comportamentos dos estudantes com mais clareza. Por exemplo, se dois estudantes respondem a uma pergunta incorretamente, Chen quer saber se é porque eles não tentaram ou porque não entenderam o material. Para descobrir isso, ele mede quanto tempo um estudante gasta em cada parte do conteúdo e, em seguida, respondendo a uma pergunta relacionada. Embora não consiga ler as mentes dos estudantes, ele pode estudar seu comportamento online como um substituto do que estão pensando.


Se alguém der uma olhada na leitura e responder à pergunta em alguns segundos, isso indica que o estudante não estava tentando. Mas se ela passa muito tempo nas duas coisas, isso provavelmente significa que ele tentou compreender o conteúdo.

Coletivamente, diz Chen, esses comportamentos o ajudam a entender onde os estudantes podem estar mentalmente, fazendo check-out da aula e onde eles podem estar perdidos. Ele pode planejar seu tempo de aula de acordo.

“Big data não necessariamente oferece melhores pesquisas educacionais”, diz ele. “É um big data de melhor qualidade.”


Chen reconhece que ele é incomum. Instrutores medianos não são treinados em ciência de dados e pesquisa educacional, nem necessariamente querem projetar material didático. Mas a Flórida Central também fomentou uma cultura de pesquisa em torno da aprendizagem no campus, tendo em mente não apenas pessoas como Chen, mas também instrutores que precisam de apoio na mineração e interpretação de dados, bem como no planejamento de seus estudos.

Um dos maiores desafios enfrentados pelos professores que desejam estudar o que está acontecendo em suas salas de aula é a absoluta complexidade do ambiente educacional, diz Charles Dziuban, diretor da Iniciativa de Pesquisa para a Eficácia do Ensino da Flórida Central .

Uma sala de aula não é um laboratório, e normalmente não é possível fazer um experimento simples de causa e efeito. A inscrição muda a cada semestre; instrutores diferentes ensinam o mesmo material de maneiras diferentes; e muitas vezes não fica claro quais atividades, atribuições ou avaliações têm quais efeitos nos estudantes.


Limpar um monte de dados de seu sistema de gerenciamento de aprendizagem não vai ajudar a desemaranhar essas interações complexas e dar respostas claras sobre o que funciona. Mas, diz Dziuban, um projeto de pesquisa bem elaborado pode modelar o que está acontecendo, permitindo que o instrutor tome decisões informadas sobre o que está acontecendo na sala de aula.


Ele aponta para um membro do corpo docente, Marino Nader, que experimentou um curso de engenharia "matador" ao virar sua sala de aula para que os alunos estudassem conceitos online antes da aula e fizessem atividades de resolução de problemas em grupo. Nader comparou suas pontuações, atitudes e comportamentos - por exemplo, rastreando quando e por quanto tempo eles assistiram aos vídeos - com o desempenho dos estudantes em uma aula teórica mais tradicional, diz Dziuban, para avaliar a eficácia dessa nova forma de ensino.


Em muitos casos, os estudantes que fizeram o modelo invertido tiveram um desempenho melhor do que os que receberam as aulas. Mas Nader descobriu que um pequeno grupo na verdade se saiu pior com o novo modelo e que os estudantes avançados às vezes ficavam entediados. Ele agora está estudando como os diferentes componentes do modelo invertido funcionam juntos.


Dziuban avalia o valor desse tipo de pesquisa em termos de sucesso do estudante “Se você não acender a luz sobre o que está acontecendo em sua cultura e clima educacional”, diz ele, “você estará atendendo apenas à metade de sua missão”.

A University of California at Davis está envolvida em um trabalho semelhante por meio de seu Center for Educational Effectiveness, que combina um centro de ensino e aprendizagem tradicional com design instrucional e análise de aprendizagem.


Marco Molinaro, vice-reitor assistente que dirige o centro, diz que tem visto um aumento constante no interesse pela bolsa de ensino e aprendizagem. Uma recente conferência em todo o campus sobre o tópico atraiu cerca de 160 pessoas, incluindo 120 acadêmicos.

Igualmente significativo, diz ele, foi um aumento na abertura entre os professores para reformas de ensino baseadas em evidências. “Antes, era: 'Como você pode "consertar" os estudantes antes de eles virem para a aula?'”, Diz ele. “Agora ouço muito mais perguntas sobre 'O que posso fazer com os estudantes quando eles estiverem na minha classe?'”


Instituições com menos recursos estão encontrando maneiras criativas de apoiar a pesquisa do corpo docente sobre a aprendizagem. Na Colorado Tech, onde a maioria dos membros do corpo docente são adjuntos e a maioria dos alunos são adultos que trabalham, os instrutores podem se inscrever para pequenas bolsas, de até US $ 1.000, para realizar pesquisas, escrever um artigo sobre o ensino ou apresentar-se em uma conferência, diz Connie Johnson, o reitor e o diretor acadêmico.


A Colorado Tech também está fazendo parceria com outras universidades, incluindo a Flórida Central, para estudar comportamentos de aprendizagem. Essa é outra maneira de ampliar sua capacidade de pesquisa, diz Johnson.

O projeto da Flórida Central, realizado em conjunto com um fornecedor de aprendizado adaptativo, a Realizeit, observou como os estudantes de uma série de cursos concluíram as tarefas ao longo de um semestre. O estudo os agrupou em quatro tipos de comportamento: tartaruga, sapo, lebre e canguru. Os dois primeiros fazem progressos consistentes ao longo do semestre, embora sejam diferentes no ritmo, como os nomes dos animais sugerem. Lebres e cangurus, ao contrário, operam em seu próprio ritmo. Lebres se apressam e concluem o curso mais cedo. Os cangurus esperam até o final do semestre para fazer a maior parte de seu trabalho.

Uma descoberta reveladora, diz Johnson, foi que os cangurus passam por mais material do que aqueles que terminam cedo. Isso, diz ela, ajudou alguns membros do corpo docente a entender melhor esses estudantes, principalmente se os instrutores estivessem inclinados a considerá-los preguiçosos. Em suma, essa pesquisa pode ajudar a mitigar o preconceito que eles possam ter em relação a esses tipos de estudantes.


O Montgomery County Community College fez um trabalho para melhorar o aconselhamento, o planejamento de graduação e outros esforços de retenção. A próxima fronteira, diz Celeste Schwartz, vice-presidente de tecnologia da informação e diretor digital, é estudar as atividades em sala de aula. Para tanto, uma equipe de dados e inovação está trabalhando com um pequeno grupo de instrutores de inglês e ESL, usando informações do sistema de análise preditiva da faculdade para projetar atividades para estudantes identificados como de maior risco de abandono escolar.


Neste experimento, os membros do corpo docente ministram um curso regular e um curso no qual experimentam determinadas intervenções. Eles podem passar parte da aula com os estudantes trabalhando juntos em questões específicas, por exemplo, para ajudá-los a formar laços uns com os outros, na ideia de que o ato de trabalhar junto estimula a persistência. O objetivo deles é ver se essas atividades têm algum efeito nas notas ou na retenção.


À medida que os membros do corpo docente mergulham nos dados sobre seus estudantes, no entanto, eles podem encontrar dilemas éticos em potencial. Se, por exemplo, um estudo descobrir que os alunos da primeira geração nas aulas de STEM estudam mais do que a média, um instrutor ou departamento poderia estar inclinado a desviá-los desses cursos ou especializações? Esses tipos de perguntas também surgem frequentemente com programas de análise preditiva, que estão cada vez mais sendo usados ​​para encontrar sinais de alerta de estudantes em risco.


Ao mesmo tempo, ao trabalharem com os membros do corpo docente nesses desafios, os especialistas observam que a análise de aprendizagem também pode reduzir potencialmente o risco de estereótipos, especialmente se investigar as conexões entre o design do curso, o ensino e o sucesso do estudante. Em outras palavras, usado com atenção, esse tipo de pesquisa pode revelar certos preconceitos embutidos na aprendizagem.


Molinaro, da UC Davis, conta a história de um instrutor que descobriu que os estudantes para os quais o inglês é a segunda língua apresentavam baixo desempenho em comparação com os falantes nativos. O instrutor leu sobre os desafios enfrentados por esses alunos e, em seguida, trabalhou com os estudantes de pós-graduação em lingüística para revisar o material do curso, observando expressões idiomáticas ou estruturas de sentenças desnecessariamente complexas - por exemplo, o uso de negativos duplos em uma questão de questionário. Em outras palavras, ele redesenhou seu curso para remover barreiras ao aprendizado, em vez de concluir que o problema era dos estudantes.


“O que percebi ao longo dos anos”, diz Molinaro, sobre a reforma do ensino baseada em evidências, “é que é preciso criar consciência. Mas então você tem que entender o que os dados estão mostrando e o que você pode fazer a respeito ”.


No condado de Montgomery, David Kowalski, diretor executivo de pesquisa institucional, diz que a equipe de dados e inovação tem conversas regulares com membros do corpo docente no projeto em que estão trabalhando juntos. Eles falam sobre coisas como riscos de estereótipos. Não há processo que você possa implementar para eliminar a possibilidade de viés, diz ele. “É tudo uma questão de reflexão e estar ciente e ter pessoas que podem verificar você também.”


Se os membros do corpo docente planejam publicar suas pesquisas, eles também precisarão buscar a aprovação de um conselho de revisão institucional para seu trabalho, adicionando outra camada de proteção para os estudantes. Indiana, por exemplo, tem a aprovação do IRB para o programa de bolsistas e, então, adapta essa aprovação, conforme necessário, para projetos específicos.


Há também um desafio mais amplo de construir uma cultura de aprendizagem baseada em pesquisa no campus. “Não faz parte do procedimento operacional padrão para membros do corpo docente”, diz Lovett, que é diretor do Centro Eberly para Excelência em Ensino e Inovação Educacional da Carnegie Mellon. “E é exatamente aí que precisamos ir.”


Carnegie Mellon está ajudando os membros do corpo docente a seguir nessa direção com ferramentas semelhantes às que Chen desenvolveu para seu curso na Flórida Central. Ao trabalhar com designers instrucionais e outros especialistas em aprendizagem para determinar quais habilidades e conceitos ela está tentando ensinar e, em seguida, organizar os planos de aula e as questões em torno deles, diz Lovett, um professor pode ver mais claramente onde os estudantes podem estar ficando confusos e por quê.


Seu centro também está ajudando a projetar projetos mais complexos, observando o sentimento de pertencimento dos estudantes e seus caminhos na faculdade. Isso ajuda os professores a entender se e quando os estudantes que podem estar sub-representados em certos campos têm experiências de sala de aula diferentes das da maioria, e por quê.


Para Terri Renner, de Indiana, a pesquisa sobre o ensino já faz parte de sua vida. Ela está fazendo uma terceira bolsa para se aprofundar na eficácia dos cursos de pré-requisito para ajudar no planejamento e desenvolvimento de currículos na Escola de Assuntos Públicos e Ambientais.


Não é um trabalho fácil e ela admite que ainda não descobriu como fazer com que os estudantes com dificuldades - que tendem a estar entre os mais desinteressados ​​- usem um campo de matemática online que ela criou para ajudá-los. A avaliação e o ensino inconsistentes em cursos anteriores, diz ela, também tornam difícil estudar como o trabalho anterior molda o sucesso nas aulas subsequentes.


Mas ela se sente positiva quanto ao efeito de ser pesquisadora. “Só de ouvir o que outras pessoas estão fazendo às vezes nos leva a uma ideia”, diz ela. “Eu amo o mundo em que estou - tentando resolver problemas, tentando ajudar as crianças. É minha coisa favorita a fazer. ”


Fonte: The Chronicle of Higher Education

Artigo Original: https://bityli.com/k45df

Autora: Beth McMurtrie escreve sobre a influência da tecnologia no ensino e no futuro da aprendizagem. Siga-a no Twitter @bethmcmurtrie ou envie um e-mail para beth.mcmurtrie@chronicle.com.

Receba as notícias sobre educação e tecnologia 

Fernando Giannini

 

E-mail:

fernando.giannini@streamer.com.br

logo-3.png

© 2020 por Fernando Giannini