A modelagem compartilhada pode ajudar as escolas a prever e evitar desistências

Uma equipe de pesquisa coordenada por Cornell descobriu que, para escolas sem recursos para realizar análises de aprendizado para ajudar os alunos a obter sucesso, a modelagem baseada em dados de outras instituições pode funcionar tão bem quanto a modelagem local, sem sacrificar a justiça.

"Para usar modelos baseados em dados, você precisa de dados", disse Rene Kizilcec, professor assistente de ciência da informação na Cornell Ann S. Bowers College of Computing and Information Science. "E em muitas escolas, especialmente escolas com poucos recursos que se beneficiariam mais com aplicativos de análise de aprendizagem, os dados raramente são acessíveis."

Kizilcec é um autor sênior de "Aprendizagem de Transferência Interinstitucional para Modelos Educacionais: Implicações para Desempenho de Modelos, Justiça e Equidade", a ser apresentado na Conferência da Association for Computing Machinery on Fairness, Accessibility and Transparency (ACM FAccT), 12 de junho -15 em Chicago. O principal autor é Josh Gardner, estudante de doutorado em ciência da computação na Universidade de Washington.

Kizilcec e sua equipe usaram dados anônimos de quatro universidades dos EUA e os converteram em uma estrutura comum com o objetivo de modelar quais alunos provavelmente abandonariam a faculdade. Apenas os modelos específicos da universidade – sem dados individuais do aluno, o que levanta questões de privacidade – foram compartilhados entre os membros da equipe de pesquisa.

Mais de 1 milhão de estudantes abandonam a faculdade todos os anos nos Estados Unidos; eles são 100 vezes mais propensos a não pagar seus empréstimos estudantis do que aqueles que se formam. Isso levou o governo federal a impor regulamentos que incentivam faculdades e universidades a reduzir a evasão, exigindo que relatem as taxas de evasão, bem como classificações que contabilizam as taxas de graduação.

Kizilcec disse que as principais instituições têm recursos para realizar análises preditivas de dados. Mas as instituições que mais poderiam se beneficiar desses dados – faculdades menores ou instituições de dois anos – normalmente não o fazem.

"Eles precisam contar com os serviços de algumas empresas que oferecem produtos de análise educacional." ele disse. "As instituições podem construir seus próprios modelos - um processo muito caro - ou comprar uma 'solução' de análise, com modelagem que normalmente é feita externamente em dados de outras instituições. A questão é se esses modelos externos podem funcionar tão bem quanto os modelos locais, e se eles introduzem vieses."

O objetivo do trabalho dos pesquisadores era uma previsão precisa de "retenção" - se cada aluno que entra em uma instituição pela primeira vez no outono se matricularia na mesma instituição no outono seguinte.

Para avaliar o sucesso da aprendizagem por transferência – coletando informações de uma instituição e usando-as para prever resultados em outra – a equipe empregou três abordagens:

Os pesquisadores usaram os três métodos de transferência, juntamente com a modelagem local em cada uma das quatro instituições, a fim de avaliar a validade da aprendizagem por transferência. Previsivelmente, a modelagem local fez um trabalho melhor ao prever as taxas de evasão, "mas não tanto quanto pensávamos, francamente, dado o quão diferentes são as quatro instituições em tamanho, taxas de graduação e demografia dos alunos", disse Kizilcec.

E em termos de justiça – a capacidade de alcançar um desempenho preditivo equivalente entre sexo e subgrupos raciais – a modelagem teve um bom desempenho sem sacrificar a justiça.

Kizilcec disse que os resultados de sua equipe apontam para uma maior equidade na previsão do abandono escolar, o que poderia ajudar as escolas com poucos recursos com intervenção precoce e prevenção de saídas de alunos, que custam à instituição e podem levar a resultados piores para os alunos.

“Afinal, pode não ser necessário alocar recursos para criar modelos locais em todas as escolas”, disse ele. "Podemos usar insights de escolas que possuem infraestrutura de dados e experiência para oferecer análises valiosas para escolas sem esses recursos e sem sacrificar a justiça. Esse é um resultado promissor para líderes escolares e formuladores de políticas."

Outros colaboradores são Christopher Brooks, professor assistente da Escola de Informação da Universidade de Michigan; Renzhe Yu, professor assistente de análise de aprendizagem e mineração de dados educacionais na Universidade de Columbia; e Quan Nguyen, instrutor de ciência de dados na University of British Columbia.