Sondagens no DN (e a comparação com resultados eleitorais)

Sobre as sondagens autárquicas publicadas pelo DN, uma queixa de um leitor, a resposta do director e o comentário do provedor, aqui.

Alguns comentários:

1.Parece-me correctíssimo que se relembre que as sondagens medem intenções num momento t e que os resultados eleitorais são comportamentos no momento t+1 e que, logo, as diferenças entre as primeiras e os segundos são inevitáveis. E estou de acordo com quase tudo o resto que é escrito quer pelo provedor quer pelo director do jornal.

2. Mas gostaria de, amigavelmente, expressar o meu desacordo com a ideia de que (citando a resposta de Luis Queirós, responsável da Marktest, a uma reclamação de um candidato de Matosinhos) "não se pode comparar o incomparável". Vou tentar explicar porquê.

-Imaginem que duas empresas fazem sondagens num mesmo momento. Imaginem também que, confrontados os resultados das suas descrições de intenções de voto no momento t com os resultados eleitorais no momento t+1, as descrições de uma se aproximaram mais desses resultados que as descrições de outra;

- Não poderemos tentar saber por que razão terá isso sucedido? É claro que as diferenças se podem dever a um mero acaso, e se só tivermos duas sondagens não poderemos eliminar essa hipótese. Mas se tivermos muitas sondagens, é possível que certos padrões comecem a emergir. Se as sondagens cujas intenções de voto detectadas no momento t mais se aproximam dos resultados no momento t+1 tenderem a partilhar determinadas características de forma estatisticamente significativa, então passamos a poder dizer que essas características tendem a produzir descrições no momento t que se aproximam mais dos resultados eleitorais;

- É claro que, numa única eleição em Portugal, raramente há "muitas sondagens", e mesmo que haja (nestas autárquicas, por exemplo), nem todas são realizadas no mesmo concelho ou no mesmo momento t. Mas isso não é obstáculo à análise: a distância entre o trabalho de campo e as eleições e as características relevantes de cada eleição ou concelho podem ser integradas no modelo explicativo como variáveis de controlo, permitindo que se possa testar se, ceteris paribus, as restantes variáveis potencialmente explicativas (por exemplo, dimensão da amostra ou opções metodologias adoptadas) produzem de facto efeitos na "precisão" da sondagem (ou seja, na diferença entre a descrição das intenções num determinado momento e aqueles que vêm a ser os comportamentos);

- Quando se faz isto, não se nega que "intenções" antes das eleições e "comportamentos" nas eleições são coisas diferentes, sendo os primeiros medidos pelas sondagens e os segundos não. Mas sugere-se também que há opções técnicas que são tomadas que, previsível e significativamente, podem fazer com que determinadas "descrições" sejam melhores do que outras. Por que razão não deveremos fazer esta análise comparativa? Comparar duas coisas não é dizer que são iguais. Comparar é...comparar, detectar semelhanças e diferenças, e tentar apurar as suas causas.

3. Há um argumento algo mais sofisticado contra a comparação entre sondagens e resultados eleitorais, e é o seguinte. Há sondagens que se podem revelar extremamente "precisas" (cujas descrições de intenções no momento t se aproximam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente imprecisas, dado que as suas "descrições" no momento t estariam, de facto, muito desfazadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, precisas. Pelo contrário, pode haver sondagens extremamente "imprecisas" (cujas descrições de intenções no momento t se afastam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente precisas, dado que as suas "descrições" no momento t estavam, de facto, muito aproximadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, imprecisas.

4. O argumento faz, em abstracto, algum sentido, mas tem dois problemas. Por um lado, ele remete para uma comparação com uma realidade nunca mensurável e que permanecerá desconhecida para sempre ("as intenções de voto 'reais' no momento t). Por outro lado, ela colide com a realidade. Como diversos estudos têm demonstrado, a verdade é que, quando comparamos sondagens pré-eleitorais com resultados eleitorais, a sua "precisão" (a diferença entre as intenções de voto detectadas no momento t e os resultados eleitorais no momento t+1) é de facto determinada não apenas pelo acaso, mas sim por factores metodológicos previsíveis, tais como, pura e simplesmente, a dimensão da amostra, mesmo quando se controla a passagem de tempo entre o trabalho de campo e as eleições. Se intenções e comportamentos fossem duas realidades estanques, autónomas e incomparáveis, isso não aconteceria. Há descrições das intenções de voto no momento t mais precisas do que outras, e isso pode ser apreciado, com uma correcta especificação dos modelos explicativos utilizados, comparando sondagens e resultados eleitorais. E receio que, quanto mais se insistir no argumento da incomparabilidade, mas a opinião pública vai pensar que quem faz sondagens não quer ver o seu trabalho sujeito a análise e escrutínio públicos.

5. Há, contudo, um problema. Imaginem que, enquanto alguns andam a fazer sondagens que procuram "descrever" da melhor maneira possível a opinião pública no momento t, outros, seja aplicando modelos de previsão seja por mero palpite, modificam os resultados que obtêm das suas descrições no momento t de forma a aproximarem-se o mais possível daquilo que julgam que virão a ser os resultados no momento t+1. Aqui ficamos com um problema, porque diferentes resultados estão medir coisas diferentes: uns descrevem; outros prevêem. Lembram-se nas eleições inglesas quando, de repente, sondagens que davam resultados claramente distintos passaram a dar resultados muito semelhantes? Pois. Se isso se dever a opções metodológicas e de tratamento dos dados expressas, o exercício de comparar sondagens entre si e com resultados eleitorais ainda faz sentido, desde que o modelo integre essas opções como variáveis de controlo. Mas se alguns trabalham apenas na base do "palpite", então já não há maneira de modelar essas variações, e o exercício perde sentido.

6. A não ser que tenhamos muitas observações ao longo de muito tempo. Os palpites falham umas vezes e acertam outras, e com grandes números, é presumível que tudo se transforme em ruído aleatório. O que me parece mal é que, com o argumento da não comparabilidade entre sondagens e resultados eleitorais, desistamos de procurar quais as opções metodológicas que permitem melhores descrições da realidade. E acho que a opinião pública não deve ficar a pensar - erradamente, claro - que quem faz sondagens julga que se pode refugiar nesse argumento para justificar todo e qualquer desfazamento entre o resultado de uma sondagem e um resultado de uma eleição.