O relatório sobre as sondagens, 3ª (e última) parte

Em dois posts anteriores, divulguei e discuti algumas conclusões do relatório feito a solicitação da ERC sobre as sondagens em Portugal. No primeiro, sintetizei as principais conclusões e recomendações. No segundo, discuti as recomendações. Neste último post, atrasado por falta de tempo, abordo as principais conclusões do relatório no que respeita às próprias sondagens, seus resultados e confronto com resultados eleitorais.

Para este fim, o relatório baseia-se em 38 sondagens publicadas na semana anterior às eleições europeias de 2009 (5), regionais Madeira 2008 (3), regionais Açores 2007 (1), intercalares Lisboa 2007 (5), presidenciais 2006 (6), autárquicas Lisboa 2005 (5), autárquicas Porto 2005 (5) e legislativas 2005 (8). De seguida, os autores do relatório comparam os resultados dessas sondagens - das estimativas de intenções de voto válidas + brancos e nulos (excepto nas presidenciais, suponho) com os que vieram a ser os resultados reais. Calculam o desvio em módulo (valor absoluto) entre uns e outros e depois a média desses desvios para cada sondagem. Ficamos assim com um indicador de "precisão" de cada sondagem: "em média, os resultados deste sondagem desviaram-se dos valores reais em x".

Como a base de dados recolhida pela equipa responsável pelo relatório continha informação sobre algumas características da sondagem e da eleição respectiva, o relatório, a partir da página 23, calcula um valor médio para esse indicador de precisão por eleição, empresa/instituto de sondagens, procedimento de amostragem e técnica de recolha. As conclusões desta análise encontram-se resumidas na página 4:

"Nas sondagens, cujos dados da Ficha técnica permitiram o cálculo dos desvios em módulo entre os valores estimados através da projecção e os valores reais da eleição para os diferentes partidos (trinta e duas em trinta e oito), o desvio médio em módulo foi no conjunto de 2,3%.

Foi menor nas projecções:
- para as eleições legislativas de 2005, seguindo-se-lhes as projecções para as eleições presidenciais de 2006 e intercalares de Lisboa de 2007;
- realizadas pela empresa Ipom, seguida de Universidade Católica e Aximage;
- que utilizaram o procedimento de amostragem aleatória de selecção de freguesias tipo e último aniversariante, seguido pelos procedimentos de amostragem de selecção aleatória de indivíduo
através de “master sample” e selecção aleatória de lar e último aniversariante;
- que recorreram à entrevista pessoal;

Foi maior nas projecções
- para as eleições europeias de 2009;
- realizadas pela empresa Pitagórica, seguida da Intercampus;
- que utilizaram o procedimento de selecção “homem mais novo” - Pitagórica - e selecção aleatória de lar e quotas de indivíduo;
- que recorreram à entrevista telefónica."

E conclui-se também, na base destes dados, que "não existe correlação significativa entre a dimensão da amostra e a precisão das estimativas" (p. 16).

Estas conclusões do relatório da ERC fazem-me lembrar uma famosa conferência feita em 1952 por Jerzy Neyman, uma das figuras cimeiras da estatística moderna, onde contava a história de um amigo (imaginário) que recolheu dados sobre a população de cegonhas e o número de nascimentos em 54 condados dos Estados Unidos. A correlação entre o número de cegonhas e o número de bebés nascidos durante o período considerado atinge o valor de .83, próximo do limite máximo de 1 (correlação perfeita). Na conferência em causa, o amigo de Neyman sugeria que, na base dos resultados, era evidente que a presença de cegonhas estava a influenciar os nascimentos, e propunha a realização de uma experiência de controlo de natalidade, que consistia na remoção de todas as cegonhas de um sub-conjunto de condados seleccionados aleatoriamente. O problema do amigo de Neyman, claro, é que não estava a tomar em conta o facto de que o número de mulheres varia de condado para condado, e que esse número está correlacionado quer com o número de nascimentos quer com o número de cegonhas (condados maiores, mais cegonhas). Se dividirmos os condados por grupos com aproximadamente o mesmo número de mulheres e procurarmos dentro de cada um desses grupos a correlação entre cegonhas e nascimentos, essa correlação é nula. Mantendo constante uma variável de controlo (o nº de mulheres) que está relacionada quer com a suposta variável independente quer com a variável dependente, remove-se a influência dessa variável e estima-se um valor "verdadeiro" (ou "menos enviesado", pelo menos) para a relação entre o nº de cegonhas e o nº de nascimentos, neste caso, obviamente, zero.

Imaginemos agora que, por alguma razão, as eleições com maiores taxas de abstenção - Europeias, por exemplo - foram aquelas onde mais frequentemente se recorreu a entrevistas telefónicas. Não sei se é assim, mas não seria estranho. Sondagens presenciais são mais caras e obrigam a maior investimento, investimento esse que costuma ser reservado para eleições vistas como mais importantes. E imaginemos agora que as eleições com maiores taxas de abstenção são também aquelas onde os desvios entre os resultados das eleições e os resultados das sondagens são maiores. Não sei se é assim - ou melhor, até sei, por aqui e por aqui - mas imaginemos que é esse o caso. Se assim for, a afirmação do relatório de que "os desvios foram maiores nas sondagens que recorreram a entrevista telefónica", sendo factualmente correcta, é muito provavelmente irrelevante do ponto de vista da análise dos correlatos da precisão das sondagens. Tal como na relação entre cegonhas e bebés, a melhor estimação para a relação "verdadeira" entre técnica de recolha e precisão das sondagens pode muito bem ser zero. Por extensão, o mesmo pode suceder com todas as restantes afirmações sobre empresas, amostragem, etc.

A afirmação sobre a ausência de relação significativa entre a dimensão da amostra e a precisão das sondagens feita no relatório pertence à mesma categoria genérica das anteriores, ilustrando-a, contudo, de maneira diferente. Uma relação verdadeira que permanece invisível quando nos limitamos a correlacionar duas variáveis só vai aparecer quando estimamos um modelo correctamente especificado. No caso concreto, basta que as sondagens realizadas em eleições com maior abstenção - menor precisão - tenham tendencialmente usado amostras maiores para que quaisquer efeitos favoráveis da dimensão da amostra na precisão permaneçam ocultos numa simples correlação (e nem entro pelo problema de se presumir, na correlação estimada no relatório, uma relação linear entre dimensão amostral e precisão, coisa que se percebe rapidamente não poder ser esperada quando se olha para isto).

É estranho que um relatório redigido por pessoas desta qualidade, que se propõe fazer um "diagnóstico" sobre as sondagens e uma "análise" da sua "precisão" tenha optado por ignorar completamente o conceito de controlo estatístico. Só por falta de tempo se explica isto. É certo que nunca se diz no relatório que esta ou aquela metodologia produz resultados mais ou menos precisos. E é também verdade que, a certa altura, se afirma que "não se estão aqui a considerar obviamente quer as inter-relações entre esses factores quer o efeito de outros factores que se sabe afectarem os resultados, o que poderá ser objecto de outra análise mais aprofundada, se essa informação for disponibilizada". Mas este disclaimer não chega. "A análise mais aprofundada" não carecia de informação não disponibilizada. Muitos dos factores que sabe influenciarem a "precisão" das sondagens, no sentido que o relatório atribui ao termo, são conhecidos. E como sondagens não são previsões de resultados eleitorais, a sua comparação sistemática com esse resultados não pode deixar de ser feita mantendo em mente e testando, no mínimo, um modelo qualquer que inclua pelo menos alguns desses factores que fazem, muito simplesmente, com que sondagens não possam ser tratadas como previsões. E sabendo-se que o relatório ia ser lido (também) em busca de factores explicativos da precisão das sondagens, a mera enunciação de "médias" por empresa, técnica de recolha e amostragem ou a mera correlação com dimensões amostrais correu, uma vez mais, o risco de obfuscar os fenómenos em vez de os clarificar. Digo isto perfeitamente ciente de que as conclusões da ERC são muito favoráveis ao instituto que dirijo, inclusivamente do ponto de vista das técnicas de recolha e amostragem que usamos, para já não falar dos "standards" de divulgação da informação (tratados no post anterior). Mas não estaria a ser intelectualmente honesto se dissesse que estas conclusões estão correctas. Até podem estar, substantivamente falando, e ficaria contente se assim fosse. Mas o relatório fica muito aquém de o provar. É pena.

Contudo, não quero ser excessivamente negativo. Num país, digamos, maior, mais rico e com melhores universidades, nem este relatório nem este post teriam sido necessários para coisa alguma. As "bases de dados" que o relatório propõe já existiriam. Papers sobre este assunto já teriam sido escritos, discutidos em conferências, e nelas elogiados pela sua competência ou assassinados pela sua indigência. Seriam publicados em boas revistas se fossem bons, em revistas menos boas se fossem menos bons, ou em .pdf's nas páginas pessoais dos autores se fossem péssimos. Mas como vivemos num país pequeno, pobre e com más universidades, isto é melhor que nada, acho.

P.S. - Sobre a comparação entre a "abstenção real" e a "abstenção estimada" nas sondagens, que o relatório faz nas páginas 22 e 23, nem vale a pena perder muito tempo. Por um lado, a comparação é feita com recurso à abstenção oficial, e nem sequer se fez um esforço para tentar estimar um valor real (usando como denominador, por exemplo, a voting age population). Por outro lado, o relatório toma como "estimativas da abstenção" coisas que não o são, como discutido no post anterior sobre o tema.