No último post sobre o Ideb, discutimos a importância de entender a estrutura dos índices e sua real interpretação para que eles possam ser usados como um instrumento de implementação e avaliação de políticas públicas.

Como citado, o índice bruto pode, muitas vezes, relevar algumas comportamentos peculiares do objeto de análise.

Por exemplo, pode analisar, no mesmo patamar, unidades de ensino que não são comparáveis, ou ainda, destacando aquelas que atuam exclusivamente em aspectos que compõem o indicador, como uma disciplina específica (português ou matemática). Por vezes, outra via de interpretação possível tem caráter estatístico.

Um dos pontos mais populares da análise estatística é a chamada “Lei dos Grandes Números”, um teorema que demonstra que, em um experimento, o mesmo ficará cada vez mais próximo de sua média quanto mais vezes for realizado. Ao lançar um dado 6 vezes repetidas, é pouco provável que só tenhamos o número “1” como resultado uma vez (1/6 das vezes). Se jogarmos outras 6 vezes, a proporção de “1” também tem uma chance alta de ser diferente. Contudo, ao realizarmos isso 6.000 vezes, ficaremos muito mais próximos da proporção correta (1/6), e as proporções serão muito mais parecidas se repetirmos o experimento por diversas vezes.

O que pode acontecer com um índice, segue o mesmo raciocínio explicado. Em analogia, se uma escola tem um número pequeno de alunos, seus resultados tendem a ser muito mais voláteis do que em uma escola maior. Isso é intuitivo, a medida que casos isolados acabam se tornando mais representativos. Um acontecimento com um grupo de alunos no dia da aplicação da prova pode não interferir fortemente com os resultados de um colégio grande, mas tem influência maior em instituições menores.

É o que mostra um artigo de Naercio Menezes e Ana Maria Franco. Abaixo, temos um gráfico que mostra a diferença nas notas do SAEB das escolas em anos diferentes. Como podemos ver, quanto menor o número de alunos, maior é a variação entre um ano e outro. Para as maiores escolas, essa variação se aproxima de 0, ou seja, as médias realmente parecem mais estáveis.

Desempenho e tamanho da escola, medidos pelas notas de matemática e português no SAEB e número de matrículas na 4ª série. Fonte: Franco e Menezes Filho (2012)

Ainda que o gráfico seja focado em escolas específicas, o mesmo pensamento vale para os municípios, e é mais uma dificuldade encontrada por aqueles de pequeno porte. Com uma nota do Ideb a cada dois anos, a avaliação é baseada fortemente em seus resultados, mas quanto menor o número de alunos, maior a variação que foge ao controle da administração.

Veja as estatísticas de educação de seu município no nosso site: www.muovebrasil.com

Gove: Conhecimento e soluções em desenvolvimento sustentável para municípios

FRANCO, Ana Maria Paiva; MENEZES FILHO, Naércio. Uma análise de rankings de escolas brasileiras com dados do SAEB. Estudos Econômicos (São Paulo), v. 42, n. 2, p. 263-283, 2012.