Análise técnica revela problemas no processo de avaliação do Enem 2016

Uma perícia especializada realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) revelou significativas fragilidades no processo de pontuação do Enem 2016. O trabalho foi encomendado pelo Ministério Público Federal (MPF) em Uberlândia (MG) após ação judicial, com o objetivo de verificar se a aplicação do exame em duas momentos diferentes, com números drasticamente discrepantes de candidatos, prejudicou os alunos que realizaram a segunda edição das provas.

Contexto das duas aplicações do exame

Em 2016, o Enem 2016 foi realizado em circunstâncias atípicas. Devido às ocupações estudantis em escolas públicas de 23 estados e do Distrito Federal, o Ministério da Educação viu-se obrigado a adiar a aplicação para centenas de milhares de candidatos. A primeira edição ocorreu nos dias 5 e 6 de novembro, com participação de aproximadamente 5,8 milhões de alunos. A segunda aplicação, prevista para os dias 3 e 4 de dezembro, contou com menos de 170 mil candidatos. Essa disparidade no número de participantes levantou questionamentos sobre a possível desigualdade nas pontuações finais.

Constatações técnicas da perícia

O parecer técnico foi elaborado por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora. O especialista, que atua como membro do conselho científico do Enem e possui expertise em Teoria da Resposta ao Item (TRI), documentou suas conclusões em um laudo de 207 páginas.

O perito identificou fragilidades estruturais no processo de pontuação do Enem 2016, ordenadas por grau de importância. O primeiro ponto refere-se ao número inadequado de itens comuns previamente calibrados nos pré-testes e fixados na prova regular. Em segundo lugar, constatou-se o tamanho insuficiente das amostras de calibração em determinados pré-testes. O terceiro ponto abordou a falta de precisão na forma como os resultados são comunicados ao público. Finalmente, identificou-se a ausência de informações públicas adequadas sobre a qualidade dos testes e das medidas empregadas.

Diferenças nas disciplinas analisadas

A análise do laudo técnico demonstrou que as provas de Ciências Humanas e Ciências da Natureza apresentaram níveis equivalentes de precisão em praticamente todos os níveis de proficiência, indicando testes praticamente equiparáveis. Contudo, observou-se que a prova de Ciências da Natureza da segunda aplicação foi ligeiramente mais acessível do que a primeira.

As maiores disparidades foram encontradas nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina, os candidatos da primeira aplicação obtiveram vantagem, enquanto na segunda disciplina, os candidatos da segunda aplicação apresentaram melhores desempenhos. As variações menos expressivas ocorreram em Ciências da Natureza, sugerindo maior consistência nessa área do conhecimento.

Limitações na análise comparativa

Apesar das constatações significativas, o perito ressalvou importantes limitações metodológicas. Tufi Soares apontou que não seria possível realizar análise de comparabilidade para todos os casos individualmente, considerando as dimensões complexas do Enem. Segundo seu parecer, cada situação particular exigiria análise individualizada e, provavelmente, a maioria dos casos não chegaria a conclusão definitiva.

O documento também incluiu sugestões do professor sobre modificações na confecção e divulgação dos testes, visando aumentar a transparência e a confiabilidade dos processos avaliativos.

Resposta institucional do Inep

O Inep respondeu às descobertas da perícia por meio de nota oficial. Conforme informado ao G1, o instituto não havia sido notificado formalmente sobre qualquer resultado relativo à perícia realizada entre 5 e 9 de fevereiro de 2018. A instituição enfatizou sua confiança na metodologia adotada desde 2009, afirmando que essa abordagem é reconhecida nos âmbitos nacional e internacional.

Na sua manifestação, o Inep declarou contar com consultoria de diversos especialistas em análise estatística e psicométrica de avaliações em larga escala. A assessoria de comunicação ressaltou ainda que "independentemente do seu conteúdo, o referido laudo representa uma opinião isolada", sugerindo que não concordava necessariamente com as conclusões apresentadas pelo perito.

Próximos passos na investigação

O procurador Leonardo Macedo, responsável pelo inquérito civil que investiga irregularidades na adoção de diferentes critérios de correção do Enem 2016, comunicou que encaminhou os resultados da perícia tanto para o Inep quanto para estudantes que se sentiram prejudicados. O primeiro procedimento envolveu o encaminhamento do extenso laudo aos principais interessados, seguido de prazo para análise aprofundada.

Subsequentemente, será marcada audiência pública onde todas as partes poderão apresentar seus argumentos sobre o tema. Apenas após esse processo o MPF definirá seus próximos passos. Conforme explicação do procurador, a abordagem segue um plano cauteloso: "O laudo é extenso e não tem uma conclusão única. Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, analisar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções".

Reclamações de candidatos afetados

A investigação foi desencadeada após a divulgação dos resultados em janeiro de 2017, quando diversos estudantes do país procuraram o Ministério Público Federal relatando inconformismo com suas pontuações. Os alunos que realizaram a segunda aplicação do Enem 2016 afirmavam ter recebido notas significativamente inferiores às de candidatos da primeira aplicação, mesmo em situações comparáveis.

O procurador Leonardo Macedo explicou que análises dos dados de candidatos que apresentaram reclamação confirmaram grandes diferenças quando comparadas com notas de candidatos da primeira edição. A hipótese sob investigação aponta para a metodologia da Teoria da Resposta ao Item como possível causa das discrepâncias, uma vez que essa metodologia leva em consideração o número total de candidatos, fatores de abstenção e perfil dos participantes em cada aplicação.

Fatores contextuais das ocupações estudantis

As ocupações que levaram à necessidade de duas aplicações do Enem 2016 iniciaram-se em outubro de 2016, começando pelo Paraná e expandindo-se por todo o território nacional. Os estudantes protestavam contra diversas medidas governamentais, com ênfase na reforma do ensino médio e na PEC 241. Um levantamento divulgado em outubro indicava a existência de mais de 1.154 ocupações em instituições educacionais em pelo menos 21 estados e no Distrito Federal.

A complexidade da situação exigiu decisão do Ministério da Educação de adiar a aplicação em 364 locais de prova. Dos aproximadamente 277 mil inscritos para a segunda aplicação, cerca de 273 mil foram afetados especificamente pelas ocupações, enquanto aproximadamente 4 mil enfrentaram imprevistos em seus locais de prova. A abstenção na segunda aplicação atingiu 40%, resultando em aproximadamente 166 mil estudantes que de fato realizaram as provas nessa data.

Implicações futuras e considerações finais

O caso do Enem 2016 evidencia desafios significativos na administração de exames em larga escala quando circunstâncias extraordinárias exigem aplicações múltiplas. A perícia realizada fornece documentação técnica substancial sobre possíveis fragilidades, porém sem conclusões definitivas que permitam ações corretivas inequívocas. A audiência pública programada será momento crucial para deliberação sobre possíveis ressarcimentos, reajustes de notas ou outras medidas cabíveis. Enquanto isso, a questão permanece em aberto quanto à real dimensão do impacto das metodologias empregadas na vida acadêmica e profissional dos candidatos prejudicados pela situação atípica daquele ano.