Ao identificar erros em notas do Enem 2019, o Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) refez a conferência dos desempenhos dos participantes, mas não recalculou os parâmetros dos itens usados nas provas do exame.
O procedimento traria maior segurança para os resultados, mas esse cálculo levaria mais tempo para ser concluído.
O governo Bolsonaro preferiu abrir mão dessa análise para dar uma resposta rápida aos erros e manter o cronograma do Sisu (Sistema de Seleção Unificada).
Sem esse procedimento, funcionários do instituto e do MEC (Ministério da Educação) dizem, sob condição de anonimato, que não é possível ter 100% de confiança nos resultados.
Na avaliação de técnicos da pasta, o recálculo dos parâmetros poderia reduzir o erro padrão do exame e indicar variações nas notas – que provavelmente seriam pequenas, mas suficientes para alterar, por exemplo, a lista de aprovados em cursos concorridos.
A cúpula do instituto, entretanto, evita o retrabalho na base de dados com receio de novos questionamentos da nota.
O entendimento é que isso só será feito caso haja determinação da Justiça, segundo relatos obtidos pela reportagem.
Após comemorar o que seria o melhor Enem de todos os tempos, o ministro da Educação, Abraham Weintraub, confirmou que milhares de notas haviam sido divulgadas com erros.
Candidatos que haviam feito a prova de uma cor tiveram suas provas corrigidas como se tivessem feito outra –segundo o Inep, 5.974 foram afetados com o problema e seus resultados, alterados.
A divulgação dos resultados do Sisu chegou a ser barrada na Justiça, mas o governo conseguiu reverter a decisão no STJ (Superior Tribunal de Justiça) nesta terça-feira (28).
O Enem adota um conjunto de modelos matemáticos chamado TRI (Teoria da Resposta ao Item).
Para atender ao modelo, os itens da prova passam por pré-testes (a partir das respostas de um público similar ao que faz a prova, estabelece-se parâmetros dos itens, como os níveis de dificuldade).
Ocorre que nem todas as questões que caíram no Enem 2019 foram pré-testadas. Nota técnica do Inep, mencionada no recurso da AGU (Advocacia-Geral da União) levado ao STJ, indica que houve calibragem de itens na própria prova.
A adoção de itens não pré-testados já ocorreu em anos anteriores por causa da escassez de questões disponíveis, segundo servidores, mas essa informação nunca fora confirmada oficialmente.
Para lidar com itens não pre-testados, o Inep precisar realizar a calibragem a partir do desempenho real na prova.
O órgão, então, seleciona uma amostra aleatória de participantes e, a partir dessas respostas, regula os parâmetros desses itens.
A amostra usada no Enem 2019 foi de 100 mil participantes e, somente depois disso, os parâmetros gerais da prova foram estipulados, e as notas dos alunos, calculadas.
Além de ter itens novos na prova, os resultados de parte dos 5.974 participantes que estavam com as notas erradas por troca de gabarito fizeram parte dessa amostra.
Foram 83 casos na prova de Ciências da Natureza e 105 na de Matemática, segundo a própria nota técnica do Inep.
Dessa forma, a calibração ocorrida na prova de itens não pré-testados contou com respostas erradas e isso causa preocupação em integrantes do Inep e do MEC.
As notas do Enem dependem não só do número de questões certas, mas também de quais foram assinaladas corretamente. A TRI identifica como um possível chute, por exemplo, o candidato que erra duas questões fáceis e acerta uma difícil – e isso tem impacto na sua pontuação.
A reportagem questionou o Inep sobre o assunto mas não obteve resposta.
Na nota técnica usada pela AGU, o órgão defende que “a proposta de selecionar nova amostra, recalibrar os itens e recalcular as proficiências [parâmetros], se apresentaria como medida inócua”.
O Inep menciona um estudo acadêmico que trata do tema e, com base neste estudo, argumenta que “a proporção de indivíduos com inconsistências encontradas na amostra não produziu efeitos significativos na estimação dos parâmetros dos itens frente ao tamanho da amostra”.
Ocimar Alavarse, professor da USP e especialista em avaliação educacional, diz que só é possível ter a real dimensão do problema se houver total transparência por parte do Inep e das escolhas feitas.
“A melhor saída seria recalcular e fazer uma auditoria detalhada nas notas”, diz.
“O argumento de que o problema foi pequeno não se justifica porque, quando se trata de um vestibular, a nota tem que corresponder exatamente”, acrescentou.
O professor Dalton Francisco de Andrade, professor do Departamento de Informática e Estatística da UFSC (Universidade Federal de Santa Catarina), por sua vez, afirma que o processo de calibragem está adequado pelas informações oferecidas pelo Inep.
“Se esses participantes [que depois tiveram notas alteradas] não tivessem entrado na mostra, teriam incluído uma pessoa com o mesmo numero de acertos”, diz. “Esse processo não é afetado pelo fato de as 200 pessoas terem o gabarito lido errado”, destacou.
Não há informações de quantos itens novos (sem pré-teste) figuraram nas provas do Enem 2019.
De acordo com um servidor do Inep, seriam ao menos 15 das 45 questões de cada prova.
Para chegar ao número de afetados, o Inep inicialmente identificou quatro casos com erros e fez cruzamentos em uma amostra de participantes que tinham divergências de notas parecidas com estes – casos com grande diferenças entre os resultados das provas do primeiro e segundo dia.
O instituto então cruzou os gabaritos corretos e também as outras opções de cor para encontrar inconsistências.
Após esse processo é que se chegou ao número final de 5.974 casos.
O governo recebeu 172 mil reclamações de notas.
Participaram do Enem 2019 cerca de 3,9 milhões de estudantes.
