Perícia aponta fragilidades na pontuação do Enem 2016
Análise técnica revela problemas estruturais na metodologia de avaliação
Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) constatou fragilidades no processo de pontuação do Enem 2016, levantando questionamentos sobre a comparabilidade dos resultados entre as duas aplicações do exame. O estudo, encomendado pelo Ministério Público Federal (MPF) em Uberlândia após ação judicial, buscou verificar se a diferença significativa no número de candidatos entre as duas datas de aplicação influenciou nos resultados finais.
A perícia teve como objetivo principal investigar se o desequilíbrio de participantes nas duas aplicações prejudicou especialmente os alunos que realizaram a segunda prova. Em 2016, devido às ocupações estudantis que ocorreram em diversas instituições de ensino pelo país, o Enem foi aplicado em dois momentos distintos, gerando uma disparidade considerável no número de participantes em cada edição.
Contexto das duas aplicações e disparidade de candidatos
A primeira aplicação da perícia do Enem 2016 ocorreu nos dias 5 e 6 de novembro, com a participação de aproximadamente 5,8 milhões de alunos. A segunda aplicação, realizada nos dias 3 e 4 de dezembro, contou com a participação de menos de 170 mil candidatos, revelando uma diferença dramática entre os dois períodos. Essa disparidade numérica foi central na investigação, pois questionava se a metodologia utilizada teria sido prejudicada por essa desproporção.
As ocupações estudantis ocorreram em 23 estados e no Distrito Federal, levando o Ministério da Educação a adiar o exame para mais de 270 mil candidatos. Embora esse número representasse menos de 5% dos mais de 8 milhões de inscritos, a concentração de adiamentos criou uma segunda aplicação significativamente menor. Adicionalmente, a abstenção na segunda aplicação atingiu 40%, enquanto na primeira foi de aproximadamente 30%, acentuando ainda mais as diferenças entre os dois grupos de candidatos.
Detalhes da perícia e metodologia empregada
O trabalho de perícia foi conduzido por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora. Soares, especialista em Teoria da Resposta ao Item (TRI), a metodologia utilizada no Enem, atuou anteriormente como membro do conselho científico do exame, conferindo credibilidade técnica ao trabalho realizado.
O perito recebeu acesso a informações sigilosas do Inep e produziu um laudo com 207 páginas, detalhando minuciosamente os problemas encontrados. Este documento, enviado ao Ministério Público Federal, tornou-se peça essencial para compreender as fragilidades técnicas na pontuação do Enem 2016 e subsidiar possíveis ações futuras.
Principais fragilidades identificadas no processo de pontuação
A perícia do Enem 2016 identificou diversos pontos críticos que poderiam comprometer a comparabilidade dos resultados produzidos para as duas provas diferentes. Ordenados por importância, os problemas encontrados foram:
Primeiro, o número limitado de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem, que prejudicaria a equivalência entre as aplicações. Segundo, o tamanho inadequado das amostras de calibração em alguns pré-testes, comprometendo a precisão estatística dos dados. Terceiro, a imprecisão com que os resultados do Enem são reportados ao público, afetando a transparência do processo. Quarto, a ausência de informações públicas sobre a qualidade dos testes e das medidas utilizadas, prejudicando a compreensão dos candidatos sobre a confiabilidade dos resultados.
Análise comparativa entre disciplinas e níveis de proficiência
O laudo demonstrou que ambos os testes nas disciplinas de Ciências Humanas e Ciências da Natureza apresentaram níveis semelhantes de precisão em praticamente todos os níveis de proficiência, indicando equivalência relativa nestas áreas. Contudo, a perícia do Enem 2016 revelou que a prova de Ciências da Natureza da segunda aplicação foi um pouco mais fácil que a primeira, introduzindo um viés potencial.
As maiores diferenças observadas concentraram-se nas disciplinas de Linguagens e Códigos e Matemática. Na primeira, houve vantagem dos candidatos da primeira prova, enquanto na Matemática os candidatos da segunda aplicação apresentaram melhores resultados relativos. As menores diferenças foram encontradas em Ciências da Natureza, embora ainda existissem variações relevantes.
Limitações da análise e ressalvas do perito
Apesar das descobertas significativas, Tufi Soares ressalvou em seu laudo que não é possível realizar uma análise de comparabilidade completa para todos os casos individualmente, nas dimensões do Enem. Segundo o perito, cada situação precisaria ser analisada separadamente, e provavelmente não se chegaria a uma conclusão definitiva na maioria dos casos analisados.
Esta ressalva importante indica que, embora a perícia do Enem 2016 tenha identificado fragilidades estruturais, a magnitude do impacto individual em cada candidato permanece indeterminada. O documento também incluiu sugestões de mudanças na forma de confecção e divulgação das provas, visando a melhoria dos processos futuros.
Resposta do Inep e posicionamento institucional
O Inep, por sua vez, informou ao G1 que não foi notificado oficialmente sobre qualquer resultado da perícia, realizada entre 5 e 9 de fevereiro de 2018. Em nota, o instituto afirmou contar com consultoria de diversos especialistas em análise estatística e psicométrica, mantendo confiança na metodologia adotada desde 2009, reconhecida nacional e internacionalmente.
A assessoria de comunicação do Inep também declarou que o laudo representa "uma opinião isolada", independentemente de seu conteúdo, sinalizando desacordo com as conclusões apresentadas. Esta posição defensiva do instituto contrasta com as preocupações levantadas pela perícia e pelo Ministério Público Federal.
Investigação do Ministério Público Federal e próximos passos
O procurador da República Leonardo Macedo, responsável pelo inquérito civil que apura irregularidades na adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia tanto para o Inep quanto para estudantes que manifestaram terem sido lesados. O procurador explicou que o laudo é extenso e não apresenta uma conclusão única e definitiva.
O MPF anunciou que o primeiro passo consistiria em encaminhar a perícia aos principais interessados, concedendo um prazo para análise. Posteriormente, seria realizada uma audiência pública onde todos os envolvidos poderiam apresentar seus pontos de vista. Apenas após essa audiência o MPF analisaria como proceder, considerando opções como pedido de indenização, aumento de notas para estudantes prejudicados ou outras medidas cabíveis.
Segundo o MPF, ainda não há previsão definida para a realização dessa audiência. O procurador Macedo destacou que estão lidando com uma questão sensível, afirmando: "Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, analisar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções".
Reclamações dos candidatos e origem da investigação
A investigação do MPF teve início após a divulgação dos resultados em janeiro de 2017, quando estudantes de todo o país procuraram o Ministério Público para reclamar sobre as notas resultantes das duas aplicações. Os alunos que realizaram a segunda aplicação da perícia do Enem 2016 relataram que suas notas eram significativamente menores comparadas aos de candidatos da primeira aplicação, suspeitando de irregularidades metodológicas.
Uma análise das notas dos candidatos que protocolaram reclamação confirmou a existência de grande diferença quando os resultados eram comparados entre as duas aplicações. O procurador Leonardo Macedo apontou que a Teoria da Resposta ao Item (TRI) considera o número total de candidatos, e que a diferença percentual de "treineiros", a maior abstenção na segunda aplicação e o tipo de candidato participante em cada local de prova poderiam ter gerado desvantagens para o segundo grupo.
Implicações da metodologia TRI utilizada no Enem
A Teoria da Resposta ao Item é uma metodologia sofisticada que busca comparabilidade entre diferentes provas, considerando o desempenho relativo dos candidatos. Contudo, a perícia revelou que quando aplicada em contextos com disparidades significativas entre os grupos de candidatos, a TRI pode produzir resultados não equivalentes. Essa descoberta questiona se a metodologia foi adequadamente ajustada para as circunstâncias particulares do Enem 2016.
A metodologia, reconhecida internacionalmente, baseia-se em pressupostos que podem não ser integralmente satisfeitos quando há diferenças substanciais no perfil dos candidatos, na abstenção entre grupos e no tamanho das amostras de calibração. A perícia do Enem 2016 destacou justamente estes pontos críticos onde a aplicação da TRI pode ter sido comprometida.
Cronologia dos eventos e ações judiciais relacionadas
A sequência de eventos que levou à perícia iniciou-se em outubro de 2016, com as ocupações estudantis que se espalharam pelo Brasil a partir do Paraná. Um levantamento do MEC em 19 de outubro indicou que 181 escolas estavam comprometidas, afetando 95 mil alunos. Uma semana depois, a União Brasileira dos Estudantes Secundaristas (Ubes) divulgou que havia 1.154 ocupações em pelo menos 21 estados.
Na véspera da primeira aplicação, em 4 de novembro de 2016, o MEC anunciou o adiamento em 364 locais de prova. A primeira aplicação ocorreu como previsto nos dias 5 e 6 de novembro, enquanto a segunda foi realizada nos dias 3 e 4 de dezembro. Quando o Inep divulgou os resultados em 18 de janeiro de 2017, houve um erro técnico que impediu que 20 mil candidatos tivessem acesso às suas notas inicialmente.
Em setembro de 2017, o Inep aceitou conceder acesso aos dados sigilosos para a perícia. Contudo, em dezembro de 2017, o Inep denunciou que o perito foi barrado na tentativa de acessar os dados. O MPF então ingressou na Justiça solicitando acesso, e posteriormente a perícia foi realizada entre 5 e 9 de fevereiro de 2018.
Considerações finais sobre a perícia e perspectivas futuras
A perícia realizada no Inep traz à luz questões fundamentais sobre a integridade e a equidade do Enem 2016. As fragilidades identificadas, particularmente na pontuação e calibração dos itens, sugerem que a aplicação do exame em duas momentos distintos, com grupos significativamente diferentes em tamanho e características, pode ter comprometido a comparabilidade dos resultados.
Enquanto o Inep mantém sua posição de que a isonomia não foi ferida, a perícia e as reclamações de candidatos indicam que as preocupações levantadas merecem análise aprofundada. O próximo passo, a audiência pública anunciada pelo MPF, será fundamental para que todas as partes interessadas possam apresentar seus argumentos e que se avance em direção a possíveis soluções para os candidatos que se sentiram prejudicados pela perícia do Enem 2016.