sábado, novembro 01, 2008

If at first you don't succeed, try, try again.

1. "O CDS sobe, talvez por efeito dos ecos do bom resultado eleitoral nos Açores." Vem no site da SIC Notícias e foi dito em off na peça televisiva por uma jornalista. A subida consistiu em ter passado de 4,8 para 5,2%, ou seja, uma subida de uns espectaculares 0,4 pontos percentuais. Por outras palavras, nem sequer sabemos se o CDS subiu, desceu ou ficou na mesma. E a dos "ecos do bom resultado eleitoral dos Açores", então, é de truz. Uma relação causa-efeito tão credível como se ela tivesse dito que o CDS subiu na sondagem por causa do pastel de nata que eu comi ontem pela tarde.

2. A propósito dos rankings das escolas, reponho de seguida o que escrevi há um ano. Nada mudou, os disparates que se diziam continuam a ser ditos, continuam a ser refutados, e nada disto, pelos vistos, faz qualquer espécie de diferença. Não faz mal. 

A citação do W.C. Fields que dá o título a este post não acaba aqui. Continua assim: "Then quit. No use being a damn fool about it." Mas eu sou um damn fool.

Sobre os rankings e o cheque-escolar (5-11-2007):
No Público de ontem, sobre os rankings, para além de ser provavelmente o primeiro colunista na história da imprensa escrita a usar a expressão Hierarchical Linear Modelling num jornal de grande circulação, André Freire diz o óbvio, mas um óbvio que vale a pena repetir:

"Penso que é preciso ultrapassar este nível de discussão (até agora baseado numa troca de argumentos sustentada, na melhor das hipóteses, numa análise metodologicamente insuficiente dos dados) para passarmos a um debate alicerçado em evidência empírica avaliada com as metodologias adequadas."

Mas importa perceber o que significa "ultrapassar este nível de discussão". Em primeiro lugar, como assinala o próprio André Freire, significa que é imperioso recolher dados a nível individual de forma a que as "causas" (na medida em que qualquer estudo observacional possa apurar causas) do desempenho escolar individual, em particular as ligadas ao ambiente escolar, possam ser estimadas controlando os efeitos de variáveis ligadas ao capital escolar e económico dos pais.

Em segundo lugar, significa também perceber que os efeitos desse capital escolar e económico são, em certo sentido, triviais. É obvio que eles existem e estão mais do que demonstrados. Mas no que diz respeito às políticas públicas, esses efeitos são tão desinteressantes como os efeitos, por exemplo, do desenvolvimento económico na estabilidade dos regimes democráticos. Ou para irmos mais directamente ao tema, são quase tão desinteressantes como os efeitos das capacidades cognitivas inatas (que também existem) dos alunos no seu desempenho escolar. Aquilo que queremos saber é
que outros factores, cuja modificação a curto e médio-prazo esteja ao alcance da vontade dos educadores, dos pais, das escolas e dos decisores políticos, exercem efeitos para além e independentemente (ou em interacção com) esse capital escolar e económico ou essas capacidades inatas. É verdade que - voltando ao ponto anterior - só podemos saber que factores são esses se controlarmos os efeitos do capital escolar e económico das famílias (e seria bom termos medidas de capacidades inatas, mas como provavelmente nao podemos em contextos não experimentais, o que teremos no final é muita variância não explicada). Mas o ponto é este: se é verdade que essas variáveis de controlo não podem ser esquecidas, também não se pode pressupor que tudo é subsumido por elas. É preciso estudar o assunto como deve ser, e pronto.

Em terceiro lugar, ultrapassar o actual nível de discussão significa também assumir que a simples dicotomia público/privado é uma péssima e provavelmente inválida maneira de medir seja o que for de relevante sobre o ambiente escolar e os efeitos que esse ambiente pode induzir sobre o desempenho. Citando
o relatório que André Freire menciona no seu artigo:

"It should be borne in mind that private schools constitute a heterogeneous category and may differ from one another as much as they differ from public schools. Public schools also constitute a heterogeneous category. Consequently, an overall comparison of the two types of schools is of modest utility."

Como deveria ser óbvio - pensava eu - o que interessa é estimar os efeitos de atributos do ambiente escolar - condições físicas e materiais, práticas educativas, currículos, etc, etc, etc - que podem ou não estar correlacionados entre si ou com a dicotomia público/privado. Se não estimarmos os efeitos destes aspectos, não ficamos a saber nada de relevante no final. "Privado melhor do que público"? "Público não é pior que privado"? Frases úteis para discussões puramente ideológicas, inúteis para tudo o resto.

Em quarto lugar, ultrapassar o actual nível de discussão significa também pressupor que os bons modelos explicativos do desempenho escolar serão certamente muito complexos, incluindo efeitos de interacção entre características individuais, efeitos de características contextuais sobre desempenhos individuais e efeitos de interacção entre contextos e atributos individuais.

7 comentários:

... disse...

Ainda quinta-feira o disse: esta classe política acabou!

Anónimo disse...

Não será incorrecto apresentar os resultados da sondagem com os partidos naquela ordem?

Eu até estou à vontade por estar longe politicamente do BE, mas ser apresentado na 5ª linha quando parece ter maior intenção de votos que o CDS/PP (na 4ª linha) parece-me incorrecto.

A única lógica que encontro ali é os resultados das últimas eleições, mas o PSD não passaria para a 1ª linha caso apresentasse melhores resultados nas sondagens que o PS?

Inclusive, no texto parece ser tratada como a 5ª força política na sondagem.

Pedro Machado disse...

Caro Pedro Magalhães

Li agora na sua página pessoal, em Inglês, que escreve no "jornal lisboeta Público". Lisboeta? Pensei que era português. Até tem uma sede no Porto, veja lá...

Um abraço.
Pedro

Anónimo disse...

Caro Pedro,

Não tendo lido o artigo de ontem no Público, queria dar-lhe os parabéns por finalmente se referir a este aspecto fundamental nas políticas educativas: de facto, a quantificação, por meios tão objectivos quanto possível, dos processos e das variáveis que têm efeito sobre os resultados escolares, parece-me absolutamente crucial para ajudar a definir uma política educativa com sucesso.
E sinceramente tenho muitas dificuldades em entender porque é que este tipo de ferramentas, que podem ajudar a optimizar os enormes recursos investidos em educação no nosso país para actuar nas áreas mais passíveis de produzir resultados, não são utilizadas de forma recorrente, sobretudo quando os níveis de investimento em educação em Portugal tão significativos quanto são (salvo erro, no top 5 per capita a nível europeu).
Aqui ficam os meus profundos agradecimentos.

Unknown disse...

Não foi ontem. Foi no dia 4 de Novembro de 2007. Mas obrigado.

Unknown disse...

Público of Lisbon? A direcção editorial é de facto em Lisboa, mas o jornal é nacional. Vou corrigir.

Anónimo disse...

Excelente entrada sobre o controverso tópico dos rankings escolares. Sem análises rigorosas como aquela que foi sugerida por André Freire não é possível discutir com um mínimo de seriedade. Veja-se o que sucede no Arrastão(http://arrastao.org/educacao/a-mistificacao-dos-rankings/). Já agora sugiro-lhe a leitura de um artigo do principal responsável político pela introdução dos rankings, Prof. David Justino, na qual refere ter efectuado um estudo, que julgo que nunca publicou, onde conclui esta coisa espantosa: "(...) não há menhum determinismo social na diferenciação dos resultados dos exames" (ver http://umbigoaoquadrado.files.wordpress.com/2007/11/justino.jpg)
De qualquer das formas, o seu comentário escuda-se numa análise algo técnica e, talvez por isso, perca o essencial da liturgia anual dos rankings: a sua publicitação favorece objectivamente as escolas privadas que, não seleccionando alunos, obtêm melhores resultados.