Caos

O Causa Nossa dá conta de notícias sobre uma guerra de sondagens em Coimbra. Um candidato a candidato envia para os jornais resultados de uma sondagem "encomendada por um grupo de cidadãos". O outro candidato a candidato "responde com uma outra sondagem" (expressão preciosa). O jornal dá conta dos resultados genéricos de ambas ("um ponto de vantagem", "empate técnico", etc.).

A propósito das legislativas, a Alta Autoridade para a Comunicação Social já tinha emitido um comunicado sobre este tipo de situações, chamando a atenção dos órgãos de comunicação social que "ao publicarem ou difundirem dados de sondagens de opinião que não foram depositadas junto da Alta Autoridade para a Comunicação Social, os órgãos de comunicação social violam a Lei das Sondagens", afirmando esperar que "as direcções dos partidos políticos tomem providências para impedir as fugas de dados de sondagens de opinião que não foram depositadas" e que "órgãos de comunicação social recusem a publicação ou difusão de dados de sondagens de opinião que lhes forem fornecidos por partidos políticos, em violação da lei e com óbvios objectivos de propaganda."

Mas isto tem várias complicações. Deste ponto de vista, a partir de que momento está um órgão de comunicação social a violar a lei das sondagens? Quando informa que lhe partidos ou candidatos lhe fizeram chegar resultados? Quando descreve genericamente esses resultados? Ou só quando apresenta percentagens propriamente ditas? E tendo em conta que a chegada desses resultados à imprensa constituem tentativas óbvias de influenciar a opinião pública e, através dela, decisões políticas (neste caso, por parte de uma direcção partidária), haverá responsabilidade directa neste caso por parte de partidos e ou candidatos na violação de lei? Qual a capacidade de vigilância e represssão da AACS, tendo em conta que este e este casos são apenas, provavelmente, a ponta do iceberg do caos sondagístico que se anuncia para estas autárquicas? Se as "fugas" são inevitáveis, deverá a AACS poder coagir os partidos a depositarem também as suas sondagens? Se não, que sentido faz o depósito? E que sentido faz, afinal, a jurisdição da AACS sobre estas matérias? Não tenho resposta certa para qualquer destas perguntas.

Eleições UK, 12 Abril

A sondagem Mori, que dava anteriormente vantagem aos Conservadores, revelou-se uma freak poll. A última da Mori, de 9 de Abril, dá 7 pontos de vantagem para os Trabalhistas. A sondagem com a menor vantagem é a da Yougov (empatados, o que significa vitória confortável para os Trabalhistas em deputados). Tudo o resto coloca Blair à frente, mesmo já depois do anúncio da falência da MG Rover.

Quanto a tendências, poucos dias bastaram para que esteja cada uma para seu lado: Labour recupera terreno nas sondagens ICM, Mori, NOP e Yougov, e perde terreno nas sondagens Communicate e Populus.

Um ponto de orientação possível neste labirinto: nas últimas duas eleições, as sondagens da ICM Research foram as mais precisas...

Referendo em França (actualização)

Depois das sondagens relatadas aqui, surgiram alguns dados novos (entre parêntesis, o resultado da sondagem anterior de cada instituto):

CSA/TMO (31 Março):
Sim: 47% (45%)
Não: 53% (55%)

TNS Sofres (2 Abril):
Sim:47% (56%)
Não: 53% (44%)

IFOP (1 Abril):
Sim: 45% (47%)
Não: 55% (53%)

IPSOS (9 Abril):
Sim: 48% (47%)
Não: 52% (53%)

Louis-Harris (2 Abril)
Sim: 46% (60%)
Não: 54% (40%)

Depois das divergências das sondagens anteriores, a convergência é quase total. O "Sim" não tem mais do que 48% e o "Não" não tem menos que 52% (sondagem IPSOS).

Em Portugal, entretanto, surgiu a primeira sondagem, pela Eurosondagem (no Expresso).

Sim: 49,2%
Não: 28,6%
Indecisos: 22,2%

Se redistribuirmos os indecisos, ficamos com:

Sim: 63%
Não: 37%

A procissão ainda vai no adro...

Empresas e instituições credenciadas em Portugal

Já agora, FYI, esta é a lista das empresas e instituições credenciadas pela AACS para fazerem sondagens de opinião:

AXIMAGE - Comunicação e Imagem, Lda
DOMP - Desenvolvimento Organizacional Marketing e Publicidade, S.A
DATA CRÍTICA - Estudos de Opinião e Mercado, Lda
EUREQUIPA - Opinião, Marketing e Consultoria, Lda
EUROEXPANSÃO - Análises de Mercado e Sondagens, S.A
EUROSONDAGEM, Estudos de Opinião, S.A
EUROTESTE - Marketing e Opinião, S.
AGBN - Gabinete de Estudos de Mercado, Lda
GEMEO - Gabinete de Estudos de Mercado e Opinião do IPAM, Lda
I SEE - Comunicação e Marketing, Lda
IMR - Instituto de Marketing Research, Lda
INTERCAMPUS - Recolha, Tratamento e Distribuição de Informação, Lda.
Instituto Superior de Ciências Sociais e Políticas da Universidade Técnica de Lisboa
IPOM - Instituto de Pesquisa de Opinião e Mercado, Lda.
MARKTEST - Marketing, Organização, Formação, Lda.
MOTIVAÇÃO - Estudos Psico-Sociológicos, Lda
NORMA - AÇORES, Sociedade de Estudos e Apoio ao Desenvolvimento Regional, S.A
NOVADIR - Estudos de Mercado e Consultadoria de Marketing, Lda
PITAGÓRICA - Investigação e Estudos de Mercado, SA
REGIPOM - Pesquisa e Opinião de Mercado, Lda
Universidade Católica Portuguesa

Autárquicas 2005: Odivelas

Sem propósitos de ser "polícia" das sondagens que vão saindo (não tenho vocação nem informação suficientes), deixo a informação relatada por um leitor, as questões que levanta, e as minhas respostas na base da informação que fornece:

Sondagem efectuada no concelho de Odivelas a 4 e 5 de Abril epublicada a 6 de Abril no jornal "Nova Odivelas" (...), pela empresa "One Press", mediante 500 entrevistas telefónicas nas 7 freguesias do concelho, com os seguintes resultados, que foram destacados na 1ª página do jornal, associados à fotografia dos respectivos "candidatos" a Presidente de Câmara :

CDU-33,10%
PSD-32,05%
PS-25,50%
(as percentagens restantes dizem respeito ao PP, aoBE e votos brancos).

"Erro de amostragem": 3,41% (com um "índice de confiança" de 95%).

Esta sondagem apresenta as seguintes particularidades:
- a empresa " One Press" não é uma empresa de sondagens, mas a sociedade comercial proprietária do jornal "Nova Odivelas";
- as perguntas das entrevistas foram realizadas com base em pressupostos, uns certos, outros mais variáveis ou indefinidos, tendo em atenção que aindan ão estão definidos todos os Candidatos a Presidente de Câmara pelos principais Partidos. Assim, o único candiadato "certo" é o da CDU, tendo o candidato do PSD sido apresentado como o "provável", e no que respeita ao PS ainda não há candidato, tendo a empresa "partido do princípio" que o candidato do PS "sairá" da escolha feita pelos orgãos nacionais do Partido Socialista, entre o actual Presidente da Câmara de Odivelas e o actual Presidente da Junta de Freguesia de Odivelas ( daí que na 1ª página do jornal aparecem as fotografias dos Candidatos da CDU e do PSD, aparecendo o resultado do PS associado ao respectivo símbolo);
- a sondagem não foi depositada na Alta Autoridade Para a Comunicação Social.

Acresce, ainda, que os resultados desta sondagem causaram uma acrescida perplexidade pelo respectivo confronto com os resultados oficiais dasúltimas autárquicas(em Dezembro de 2001) e das últimas legislativas(emFevereiro de 2005), a saber, respectivamente:- PS-41,03% ; PSD-28,30% ; CDU-20,01%.- PS-47,38% ; PSD-22,43% ; CDU-9,74%.

Posto isto e na qualidade de leigo nestas matérias, atrevo-me a deixar as seguintes dúvidas:

- As sondagens não podem/devem ser só realizadas por empresas "acreditadas" ou "reconhecidas" para esses estudos ?
As quer dizem respeito as eleições, sim. "As sondagens de opinião só podem ser realizadas por entidades credenciadas para o exercício desta actividade junto da Alta Autoridade para a Comunicação Social. " - Lei 10/2000, art. 3º, n.1

- Não é obrigatório, por lei, o "depósito" das mesmas na AACS ?
Sim. "A publicação ou difusão pública de qualquer sondagem de opinião apenas é permitida após o depósito desta, junto da Alta Autoridade para a Comunicação Social, acompanhada da ficha técnica a que se refere o artigo seguinte." - Lei 10/2000, art. 5º, nº1.

- Que rigor técnico-científico tem uma sondagem feita com base em perguntas que não são idênticas e com pressupostos variáveis, do género, "em qual candidato votaria, no candidato A do Partido X ou no candidato B ou C ou D do Partido Y ?" ?
Rigor no que respeita à amostragem, ou seja, à capacidade para obter uma amostra da representativa da população, podem ter. Não sei como exactamente foram feitas as perguntas, nem se o texto das perguntas foi divulgado pela imprensa. Seja como for, quando se trata de decidir o Presidente da Câmara, é muito plausível que a identidade dos candidatos seja pelo menos tão importante como o partido. Pessoalmente, parece-me que fazer sondagens sobre eleições autárquicas sem que se conheça a identidade de todos os candidatos é algo prematuro ou, pelo menos, introduz grandes limitações aos resultados que obrigam a que a sua intepretação tenha de ser extremamente cautelosa.

A subida dos Conservadores...

confirma-se. Depois das quatro sondagens relatadas aqui, nova sondagem, desta vez da Yougov:

Labour: 36%
Conservatives: 36%
Liberal Democrats: 21%

Outra excelente fonte sobre as sondagens para além desta é este site da BBC. A não perder, também, o decano, mestre dos mestres, da análise das sondagens no Reino Unido: Sir (isso mesmo) Robert Worcester.

Eleições UK, a um mês de distância. Mais aberto do que se pensava...

Quatro sondagens nos últimos dois dias:

ICM:
Lab:37%
Cons:34%
Lib:21%

NOP:
Lab:36%
Cons:33%
Lib:21%

Populus:
Lab:37%
Cons:35%
Lib:19%

Mori:
Lab:34%
Cons:39%
Lib:21%

O único contraste claro é entre a sondagem Mori/Finantial Times e as restantes, devido ao facto da Mori usar um modelo de probabilidade de voto muito mais exigente que as restantes. Ou seja: só são contabilizados os votos daqueles que dizem "ter a certeza" que vão votar. Mas há duas coisas que estão a suceder e que estes números não dizem: a descida dos Trabalhistas em todas as sondagens; e o eleitorado Conservador está mais mobilizado do que o Trabalhista (como explica John Curtice).

E atenção: como foi dito aqui, devido às distorções actuais no actual sistema eleitoral britânico, os Trabalhistas podem inclusivamente perder por uma margem razoável em número de votos e ganhar em assentos parlamentares; mas perder por 5%, como se sugere na Mori, pode já ser demais, como Anthony Lewis explica aqui. Ainda não chega para Blair entrar em pânico, mas...

Referendo Constituição Europeia (França)

Pelos lados de França, os resultados do referendo à Constituição Europeia arriscam-se a fazer algumas vítimas entre as empresas de sondagens. Vejamos os resultados mais recentes:

1. Maioria a favor do "sim"

Louis-Harris (1 Março)

Sim: 60%

Não: 40%

BVA (14 Março):

Sim: 56%

Não: 44%

TNS Sofres (10 Março):

Sim:56%

Não: 44%

2. Maioria a favor do "não"

CSA/TMO (23 Março):

Sim: 45%
Não: 55%

IFOP (1 Abril):
Sim: 47%
Não: 53%

IPSOS ( 28 Março):
Sim: 46%
Não: 54%

É possível que parte das discrepâncias se devam ao facto de as sondagens que dão a vitória ao "sim" serem todas anteriores às sondagens que são a vitória ao "não". Mas isso é, certamente, apenas parte da história: quando analisamos as tendências de cada instituto ao longo do tempo, rapidamente verificamos que as diferenças entre institutos são estruturais, e não conjunturais, devendo-se certamente a opções metodológicas.

Estes referendos são o cabo dos trabalhos para quem faz sondagens. Primeiro, devido à alta abstenção, as opções que se façam para seleccionar os "votantes prováveis" são cruciais, e delas dependem os resultados.

Segundo, são eleições "pobres em informação" para os eleitores, levando a grande vulnerabilidade das preferências em relação a factores conjunturais e a que pistas normalmente relevantes noutros actos eleitorais - e que dão estabilidade a essas preferências (identificação partidária, por exemplo) - sejam aqui menos relevantes. Na sondagem Louis-Harris, mais de um terço daqueles que exprimiram uma intenção de voto disseram que ainda podiam mudar de ideias.

Finalmente, do ponto de vista da leitura pública dos resultados, os referendos são impiedosos para as empresas de sondagens: se uma empresa diz que o "não" tem 51% e o resultado acaba por ser 51% para o "sim", essa sondagem"falhou", mesmo que o erro esteja dentro da margem do erro aleatório (que é mais elevada, precisamente, quanto mais próximo de 50% seja o resultado a estimar). Uma grande dor de cabeça, de que eu não me irei livrar daqui a uns meses...

Seja como for, sem querer colocar completamente em causa a realização de referendos sobre estes e outros temas (o assunto é demasiadamente complicado para despachar num post), importa notar como são por vezes usados para outros fins que não apenas os de apreciar os méritos e os deméritos do assunto em análise. Por exemplo, todas as sondagens dizem que os simpatizantes dos partidos da oposição em França são tendencialmente (quando não maioritariamente) a favor do "não", sendo certo que alguns deles irão usar o referendo como punição a um executivo e um presidente que sofrem hoje de uma péssima imagem (no último estudo da TNS Sofres, 62% dos franceses dizem não ter confiança em Chirac, percentagem que aumenta para 71% no caso de Raffarin).

E aquilo que faz muitos sentirem-se à vontade para usar o referendo para fins que não os de apreciar a "bondade" ou "maldade" da CE é o facto de acharem que o desfecho é, em si mesmo, pura e simplesmente irrelevante: na mesma sondagem, 33% dos inquiridos dizem achar que a vitória do sim ou do não não tem qualquer importância para a França (fenómeno que ajuda aqueles que votariam sim a não se desclocarem à urnas e outros a usarem o referendo para enviar sinais de insatisfação com o governo). Um aviso à navegação cá para os nossos lados...

Mais autárquicas (actualizado)

Recebi hoje o seguinte e-mail, enviado por Susana Isabel Silva, directora técnica do IPOM (Instituto de Pesquisa de Opinião e Mercado):

Longe está o período de campanha das eleições autárquicas, mas a polémica já começa a ser lançada em torno das sondagens políticas realizadas a nível autárquico. Será isto ainda um sintoma do que se verificou durante a campanha eleitoral para a Assembleia da República? Ou serão simplesmente dúvidas de quem não tem a correcta informação sobre os dados publicados pela imprensa regional?

Parece-me, em meu entender, ou melhor, quero acreditar, que se trata da segunda hipótese. Digo isto, porque analisando o exemplo enunciado no blog no passado dia 28 de Março, o e-mail comentado apresenta algumas incorrecções face à ficha técnica publicada pelo jornal O Comércio do Porto:

- A sondagem a que o autor do e-mail se refere é constituída por 598 indivíduos inquiridos e não por “cerca de 700”;
- Não existe qualquer referência, nem na ficha técnica nem na peça escrita pela jornalista, ao número de respostas validadas, onde desconheço a proveniência do valor 500.

Quanto à representatividade das sub-amostras obtidas pela desagregação a nível de freguesia, concordo que uma freguesia onde foram inquiridas 8 pessoas não mereça destaque de análise face às restantes, dada a sua reduzida dimensão. Mas isso é um problema comum da análise efectuada pela maior parte dos meios de comunicação social. Parece-me abusivo questionar a credibilidade técnico-científica das sondagens realizadas em função das interpretações que delas se fazem.

Susana Isabel Silva
Directora Técnica
IPOM – Instituto de Pesquisa de Opinião e Mercado

Ora bem. Pela minha parte, queria dizer que nunca cheguei a ver a notícia onde eram publicados os dados da sondagem mencionada no e-mail que citei aqui. Limitei-me a responder a uma pergunta que me foi colocada que, recordo, era a seguinte:

"Parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas?"

Em face do exemplo fornecido (uma freguesia com 8 inquiridos), respondi que não, pelas razões aqui expostas, e recordo também que concentrei a minha análise não na "credibilidade técnico-científica das sondagens realizadas" mas sim, exclusivamente, nas "interpretações que delas se fazem" (terminei o meu post dizendo: "Um erro muito comum nas análises das sondagens feitas na imprensa").

Ou seja, não questionei a credibilidade do trabalho feito: não podia, porque não o conhecia, ainda não o conheço (só agora fiquei a saber quem o conduziu). E também não creio que o mail que recebi tivesse como intenção fazê-lo (dado que a dúvida expressa por quem o enviou se reportava à desagregação dos dados e não a qualquer aspecto técnico ou metodológico da realização do estudo).

Entretanto, estou certo que os responsáveis do IPOM já terão feito notar ao jornalista do Comércio do Porto que o facto de ter andado entretido a calcular e apresentar percentagens por freguesia quando tem sub-amostras de 8 inquiridos é algo que não só "não merece destaque de análise" mas também não faz qualquer espécie de sentido do ponto de vista estatístico...

Actualização: do IPOM, chega-me a informação de que, de facto, contactaram o responsável pela notícia. E mais me dizem que:

Penso que uma forma de evitar este tipo de situações passará pela formação pedagógica dos jornalistas, por parte das empresas de estudos de mercado e sondagens, no sentido de os elucidar em relação às análises e interpretações que poderão ser feitas a partir dos dados fornecidos pelos mesmos. Tentamos ao máximo, no nosso caso, ter sempre este tipo de procedimento junto dos nossos clientes.

100% de acordo.

Eleições no Reino Unido

Outras sondagens a merecer atenção são as das eleições no Reino Unido, que se realizarão, provavelmente, a 5 de Maio. O "Margens de Erro" deles - descontando aquilo que é, da minha parte, uma irresponsável imodéstia - é o magnífico blog de Anthony Wells, UK Polling Report.

As sondagens em Inglaterra são interessantes por várias razões. Em primeiro lugar, há sobre elas uma produção académica vastíssima, comparável apenas àquela que existe sobre as sondagens nos Estados Unidos. Segundo, há uma tradição de "experimentalismo" metodológico nas sondagens inglesas, também ela só comparável ao que sucede nos EUA. Temos, por exemplo, o caso da YouGov, que faz sondagens pela internet, tendo por base um painel de 40.000 pessoas, do qual se extraem de cada vez amostras aleatórias de cerca de 2000 inquiridos (remunerados para o efeito). E há agora uma outra empresa (creio ser a Rasmussen) que importou a sua prática americana e conduz sondagens telefónicas "automatizadas", ou seja, feitas por um computador em vez de um inquiridor humano, e que permite que as respostas sejam dadas através das teclas do telefone. Cépticos? Vejam isto.

Contudo - e voltaremos a falar disto quando nos aproximarmos da data das eleições - atenção ao sistema eleitoral inglês. A distorção entre votos e assentos parlamentares é enorme, e hoje em dia é favorável aos Trabalhistas. Ou seja:

- os assentos parlamentares são apurados círculo a círculo, por sistema maioritário;
- tendencialmente, os círculos onde os Conservadores costumam ganhar são círculos onde ganham com enorme vantagem sobre os Trabalhistas;
- pelo contrário, os círculos onde os Trabalhistas costuma ganhar são círculos onde os Conservadores são close seconds;
- os círculos Trabalhistas tendem a exibir maiores taxas de abstenção;
- a última revisão do desenho geográfico e composição política dos círculos foi favorável aos Trabalhistas.

Logo, uma votação 35%-34% favorável aos Trabalhistas, como a que resulta da última sondagem YouGov (24 Março), por exemplo, significa, na prática, uma vantagem muito maior em termos de deputados. Ou para ser mais preciso: o Labour pode até perder em número de votos e ganhar confortavelmente em deputados.

Tudo isto foi muito bem explicado, há dias, por Nick Moon, aqui.

Autárquicas

As sondagens para as autárquicas já mexem. A razão para o silêncio até agora é simples, e parecida com a que levou ao atraso nas contas finais: falta de tempo. Mas vou estar mais atento e, já agora, peço um favor: dado que me é mais difícil seguir a imprensa local, ficaria muito agradecido se fizessem chegar as sondagens que vão encontrando.

Para já, recebi este amável e-mail:

No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).

A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.

Outros métodos

Há, no entanto, quem critique o uso do "método 3". Por um lado, o "método 3" continua a estar dependente do número de estimativas contabilizadas para medir a precisão das sondagens, o que pode impedir comparações internacionais (especialmente com aqueles países com sistemas maioritários, onde as estimativas que contam são as dos dois principais partidos, e não as dos quatro ou cinco maiores). Logo, em vez de calcular médias, este método consiste simplesmente em alinhar as sondagens de acordo com os maiores erros cometidos na estimação de um qualquer partido. Assim, e na base do quadro anterior, ficamos com:

Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%

Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:



O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).

E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...

Método 3, segunda parte

Sucede, contudo, que há um aspecto da comparabilidade que é afectado pelo uso do método 3. A "média dos desvios absolutos" é muito sensível ao número de partidos incluídos na análise. Quanto maior o número de partidos, mais baixo deverá ser o valor do desvio médio, dado que ele passará a contar com estimativas de valores reais mais baixos e, logo, com menores margens de erro amostrais associadas.

Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":

Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%

Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:

1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;

2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).

2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).

Contas finais. Método 3.

Um mês sem posts. Violada assim a principal regra de um bom blog. Fui para fora depois das eleições, muito trabalho, etc. Seja como for, não queria deixar de fazer a análise final das sondagens realizadas antes das últimas eleições, desta vez com resultados definitivos, incluindo círculos "Europa" e "Fora da Europa". Foram eles os seguintes (para os partidos cujos resultados foram estimados pelas sondagens):

PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%

Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]

1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.


Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:


Deste ponto de vista:

1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)

A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:

1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.

Adenda ao rescaldo: só para fanáticos

Para se ver como as coisas são, bastou o apuramento de três freguesias em falta para que o ranking das sondagens pré-eleitorais ficasse ligeiramente modificado. Nada disto é especialmente importante, mas a bem da precisão, uma correcção a este post:

1. A média dos desvios absolutos entre os resultados mais baixa encontrada nas sete sondagens é de 0,7%, e pertence à Eurosondagem e à Intercampus. A primeira acertou quase em cheio na percentagem do PS, da CDU e do BE, e apenas sobrestimou claramente o PSD. A segunda acertou quase em cheio na CDU e no CDS, e teve erros baixos nos restantes. Seguiram-se, por ordem crescente de erro médio, a Aximage (0,8%), o IPOM (1,0%), a Católica (1,1%) e finalmente, empatadas, a Marktest e a Euroteste (1,2%).

2. Quanto ao segundo critério normalmente usado (margem de vitória), quem mais se aproximou foi o IPOM (16%, contra os 16,2% reais). Seguem-se a Intercampus (15,6%), a Aximage (17,2%), a Católica (15%), a Eurosondagem (14%), a Marktest (19,2%) e a Euroteste (12%).

Isto é, repito, só mesmo para fanáticos. E para os que aí andam, que eu sei que andam, prometo fazer o quadro final assim que houver resultados eleitorais definitivos.

Até breve

Desde o dia 6 de Janeiro, este blogue teve 36.000 visitas e 57.000 page views. Não percebo muito disto, mas dizem-me que não é nada mau. O objectivo era simples: dizer aqui, sobre as sondagens, o que raramente se pode dizer noutros meios de comunicação. Discutir resultados e métodos, chamar a atenção para limitações, descobrir o que as sondagens dizem e (especialmente) o que não dizem. Espero que tenha sido útil.

Mas o melhor de tudo não foi o que aqui dei, mas sim o que recebi. As mensagens que me chegaram e os posts noutros blogues a propósito do que aqui se escreveu levantaram-me problemas em que nunca tinha pensado. Obrigado a todos.

Dito isto, este blogue não acaba aqui. Há sondagens e questões à volta da opinião pública para discutir para além das eleições. Vai simplesmente passar para um ritmo mais lento (pelo menos até Outubro!). Até breve.

A Católica

Não estou nada infeliz, mas também já tive dias melhores. Nas Presidenciais de 2001, Legislativas de 2002 e Europeias de 2004, as sondagens pré-eleitorais da Católica tinham tido os menores desvios médios em relação aos resultados finais. Nas sondagens de boca das urnas, continuamos a nossa amistosa competição com a Intercampus (nós os mais precisos nas Presidenciais de 2001, eles nas Legislativas de 2002, nós nas Europeias de 2004, e eles agora). Mas a nossa sondagem pré-eleitoral, desta vez, pecou por excesso no BE e por defeito no CDS. Pode ser fruto do acaso, tendo em conta o erro amostral. Mas não estou convencido. Parabéns a quem esteve mais perto e, nós, de volta para o drawing board a ver o que correu menos bem e como se pode fazer melhor.

Rescaldo da "mega-fraude"

Aqui, tinha dito que as sondagens publicadas antes destas eleições eram as que menos se distinguiam entre si, pelo menos desde 1991, ficando em aberto a questão se saber se estavam todas igualmente "erradas" ou, no fundamental, igualmente "certas". A questão já tem resposta: as sondagens de 2005 foram as mais precisas alguma vez conduzidas na história da democracia portuguesa.



A "média dos desvios absolutos médios" entre os resultados eleitorais e as estimativas apresentadas pelas sondagens é a menor de sempre: 1% (com Aximage, Eurosondagem e Intercampus com apenas 0,8%). A margem de vitória do PS foi, em média, subestimada em 1,8%, também o menor valor de sempre (sendo que o IPOM a sobrestimou em apenas 0,3%). Afinal, o maior erro destas sondagens pré-eleitorais foi o de terem, em média, sobrestimado o PSD em 1,3%. Ironias do destino.

Deste ponto de vista, as sondagens à boca das urnas divulgadas às 20.0hh desiludem um pouco. Se tomarmos o ponto central de cada um dos intervalos apresentados como representando a "melhor estimativa", quase que se poderia dizer que foram menos precisas que as sondagens de véspera: a "média dos desvios absolutos médios" foi de 1,2% (Intercampus, 0,6%; Católica, 1,2%; Eurosondagem, 1,8%), enquanto que a margem de vitória do PS foi, desta vez, sobrestimada por todos (em média, 4,3%, com a Eurosondagem a sobrestimá-la em 7,3%).

Seria muito importante, aliás, que se reflectisse sobre o efeito que as acusações que foram feitas às sondagens tiveram na subestimação do eleitorado do PSD nas sondagens à boca das urnas, se é que tiveram algum. Quando um líder de um partido acusa colectivamente todas as empresas de sondagens de estarem envolvidas numa "mega fraude", é apenas natural que muitos eleitores desse partido se recusem a colaborar com essas empresas, especialmente quando a escolha dos inquiridos deixa de ser aleatória e passa a depender mais de algum voluntarismo na colaboração à saída dos locais de voto. As consequências mais graves deste tipo de acusações ficam para quem as faz, e a melhor resposta que se pode dar está nos resultados. Mas os institutos também são afectados por estas acusações, não só no que respeita às eleições, mas também em relação a todo um mundo de estudos académicos, de opinião e de mercado. Fazer sondagens depende crucialmente da colaboração dos inquiridos, e houve danos causados pelas afirmações de Santana Lopes que, sendo difíceis de estimar, são certamente reais.

As dúvidas existenciais estão também esclarecidas:

1. Houve maioria absoluta, tal como previsto por seis das sete sondagens. Podia não ter havido, claro. Mas parece-me que, como aqui sugeri, o aumento da participação ajudou. Assim, em grande medida, passou-se o oposto do que tinha sucedido em 1999.

2. Fim da "subestimação do CDS". Duas sondagens subestimaram o CDS, as restantes sobrestimaram-no, e nuns e noutros casos em valores inferiores às margens de erro amostral associadas a cada estimativa.

3. Possível sobrestimação do BE: todos apanharam a subida acentuada do Bloco, uns subestimando-a ligeiramente, outros sobrestimando-a, mas em todos os casos, também dentro da margem de erro amostral associada às estimativas.

Em resumo: continua a tendência de melhoria da precisão das estimativas apresentadas pelas sondagens. Amostras de maiores dimensões, maior esforço em detectar votantes prováveis, baixa da abstenção, quase tudo ajudou.

Período de reflexão

E chega de sondagens. Agora é a hora de tomar decisões.

Dúvidas existenciais (terceira)

O crescimento do BE. Estou um bocado cansado, pelo que vou ser sintético.

1. Em relação ao que teve em 2002, acho que restam poucas dúvidas que o BE vai crescer bastante em termos proporcionais.

2. Como disse sobre a CDU e o CDS-PP, a questão da "ordem relativa" dos partidos é uma questão a que, na verdade, as sondagens não estão a responder, nem podem.

3. Dito isto, acho que há três riscos bem presentes de sobrestimação:
- sobrevalorização do eleitorado urbano;
- não tomar em conta que, nos círculos mais pequenos, os eleitores têm de ser mais estratégicos para eleger deputados e que, logo, podem abandonar o BE à última hora;
- a possibilidade de que as intenções de voto recolhidas sejam meramente "expressivas" e de "protesto" e que, logo, não se realizem no dia das eleições, especialmente entre os eleitores mais jovens.

4. Mas dito isto, mais uma vez: quando as teorias são pouco sólidas, o melhor é ignorá-las e dar o resultado que a amostradeu. O resto são palpites, que podem ou não funcionar. Mas se queremos prever resultados com palpites o melhor é deixar de fazer sondagens.

Dúvidas existenciais (segunda)

O CDS-PP e a CDU. Estou ciente da surpresa causada pelo facto de o CDS-PP aparecer, em todas as sondagens, com resultados inferiores aos das eleições de 2002. Pelo facto de, em quatro das sete sondagens, o CDS-PP aparecer com resultados iguais ou inferiores aos da CDU. E ainda mais ciente do choque causado pelo facto do CDS-PP surgir em duas sondagens como o 5ª partido.

Sobre isto, algumas notas:

1. Estas "posições relativas" dos partidos geram notícias de jornal, tais como aquelas que são motivadas pela "maioria absoluta" (conclusão que, como espero que tenha ficado do post anterior, é ilegítima, ou pelo menos tão ilegítima como o seu contrário). Mas queria notar, sem querer outra vez ser excessivamente defensivo, que a mais baixa margem de erro amostral associada por qualquer uma destas sondagens à estimativa de um ou outro partido é de + ou - 0,7% (outra vez Católica, estimativa do CDS, 6%). Façam as contas e verão como, pura e simplesmente na base do erro amostral, nenhuma sondagem diz que partido estava à frente nas intenções de voto quando a sondagem foi conduzida, o CDS-PP ou a CDU. Elas dizem apenas o que encontraram na amostra. Mas na inferência da amostra para a realidade, nenhuma está de facto a medir uma diferença estatisticamente significativa entre o CDS-PP e a CDU. Em rigor, eles estão empatados, em todas as sondagens.

2. Estou também ciente - e o Dr. Paulo Portas faz sempre questão de o recordar - que CDS-PP tem sido desvalorizado por todas as sondagens desde 1999. E estou convicto que, tal como sugeri aqui e aqui, alguns institutos estão a tomar isso em conta nos resultados que estão a fornecer.

3. Mas noto com surpresa já aqui mencionada, que as sondagens telefónicas estão desta vez a dar mais (e não menos) expressão eleitoral ao CDS (8%, contra 7% das presenciais e com simulação de voto), facto que parece destruir a teoria da subestimação causada por subestimação do voto rural ou voto oculto.

4. Logo, se assim é, creio que o melhor é não ter quaisquer teorias. O melhor é confiar nos resultados que surgem da amostra, e pronto. Depois, logo se vê.

5. E dito isto, sem querer substituir teorias destruídas com novas teorias construídas ad hoc, ficam duas perguntas:
- será que é compensador a um partido, que cresceu eleitoralmente na base da captação de um eleitorado conservador, composto de uma singular mistura de elites económicas e eleitores socialmente desfavorecidos, começar a fazer de conta que é um partido "moderado", "de governo", "centrista" e da "classe média"?
- será que um partido, mesmo que parceiro menor de uma coligação, consegue escapar incólume à participação no governo mais impopular de que há memória?

Veremos.

Dúvidas existenciais (primeira)

Num post anterior, escrevi que "há várias questões cuja resposta, creio, não é dada por nenhuma destas sondagens com qualquer razoável margem de confiança:

1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002."

Ora bem. Para além do que possa ter a ver com o futuro de Santana Lopes, a margem de vitória tem uma importância relativa, excepto na medida em que se relaciona com os ponto 1 e 3 (em particular na relação de votos PSD-CDS/PP).

Ficamos assim com três questões fundamentais. Questões para as quais, lamento, estas sondagens não dão respostas definitivas. Vamos à primeira.

Maioria absoluta? Os resultados apresentados oscilam entre os 43% e os 47%. Por assim dizer, entre maioria relativa e maioria absoluta. Para além disso, mesmo que tenhamos uma crença especial na capacidade de uma sondagem em particular para estimar resultados, a margem de erro amostral associada a cada uma delas faz com que seja difícil responder à questão. Tomemos aquela em que eu acredito mais, ou seja (surprise) a da Católica. É preciso recordarmos que a estimativa de 46% significa, tomando em conta a margem de erro amostral, um valor entre 44,6% e 47,4%. Ou seja, potencialmente, a diferença entre a maioria relativa e a maioria absoluta. Para as restantes sondagens, com amostras menores, o problema, por maioria de razão, também existe. E o seu trabalho de campo foi realizado, na maioria dos casos, uma semana antes das eleições. E há, pelo menos na sondagem da Católica, 12% de indecisos.

Logo, não se sabe se haverá ou não maioria absoluta. Ou melhor: nem sequer é possível dizer se, no momento em que se fez o trabalho de campo, haveria ou não uma maioria absoluta. Não pensem que estou a ser propositadamente defensivo, a proteger as sondagens de possíveis "fracassos" ou coisa parecida. É preciso perceber que as sondagens têm limites. Um deles é este.

Dito isto, o meu palpite, se tivesse mesmo de dar um, é o seguinte: se a abstenção descer significativamente, o PS chega lá. A razão está aqui.

Discrepâncias na Aximage?

Via Blogouve-se:

"Coisas que fascinam (o regresso)
A mesma sondagem (pelo menos com a mesma ficha técnica) aparece hoje no Jornal de Negócios e no Correio da Manhã... mas com resultados diferentes!Na ficha do Correio da Manhã diz-se: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto". No Jornal de Negócios (que não está on line) a ficha técnica diz: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã/Jornal de Negócios pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto".

Mas o mais surpreendente é mesmo a diferença nos resultados:

No Correio da Manhã:
PS 45,4
PSD 28
CDU 6,8
PP 6,7
BE 5,2

No Jornal de Negócios:
PS 46,8
PSD 29,6
CDU 7,0
PP 7,3
BE 5,5

E agora?"

Ora bem, está explicado (até certo ponto) no Correio da Manhã. Segundo a Aximage, o segundo conjunto de estimativas resulta de "distribuição de indecisos de acordo com o modelo probabilístico construído a partir das respostas a perguntas especificamente dirigidas a indecisos em que lhes foram apresentados cenários de voto".

Interlúdio

Por razões que desconheço nem quero conhecer, o sitemeter indica-me que um dos sites através do qual se acedeu a este blogue foi este. Não podia ser mais apropriado.

Os "efeitos" da campanha

Média das 5 sondagens publicadas entre 27/1 e 29/1:

PS:45%
PSD:31%
CDU:7%
CDS:7%
BE:7%

Média das sondagens publicadas entre 17/2 e 18/2:

PS:46%
PSD:30%
CDU:7%
CDS:7%
BE:6%

Preciso de dizer mais alguma coisa?

Três certezas a 99,9% (como quem diz)

1. O PS ganha;

2. PSD e CDS-PP não fazem maioria;

3. Subida forte do BE em relação a 2002;

4. Se não tiver maioria absoluta, PS necessita apenas de um parceiro à esquerda para a formar.

Certeza absoluta

Uma certeza absoluta: estas eleições vão ser aquelas (pelo menos desde 1991) em que haverá menos diferença entre as diferentes sondagens no que respeita à precisão das suas estimativas. Isso sabe-se de forma muito simples: a dispersão nos resultados das diferentes sondagens é a menor de sempre. As estimativas para o PS oscilam entre os 43% e o 47%, para o PSD entre os 27% e os 31%, para a CDU entre os 6% e os 9%, para o CDS-PP entre os 6 e os 8%, e para o BE entre os 5% e os 8%. Pode ainda parecer muito, e para os pequenos partidos, num certo sentido, é. Mas isso não impede que estas sejam as eleições legislativas onde as últimas sondagens mais convergiram entre si. Agora se estão todas muito "certas" ou todas muito "erradas" é outra questão...

O dilúvio

Dois dilúvios, aliás: um de e-mails recebidos e outro de sondagens. Quanto ao primeiro, vou nalguns casos responder directamente e, noutros, tentar responder ao longo do tempo com estes posts. Seja como for, obrigado a todos. Quanto às sondagens, são sete, que eu saiba, divulgadas ontem e hoje nos órgãos de comunicação social:



Para já ficam os dados. Comentário final no próximo post...

2002

E para terminar a ronda pelas últimas sondagens publicadas antes das legislativas, eis as de 2002:



Em síntese:

1. Em média, os desvios absolutos cometidos pelas sondagens na estimação dos resultados dos cinco maiores partidos foi de 1,7%. Católica foi quem mais se aproximou(1% de desvio absoluto médio);

2. Em média, as sondagens sobrestimaram a margem de vitória do PSD em 2,9%. A Eurosondagem foi que mais se aproximou da margem real.

3. Lusófona e Eurequipa foram as únicas que apanharam claramente o CDS à frente da CDU.


Espero que isto tenha sido de alguma utilidade. Há quem duvide disso, recorrendo ao argumento de que "sondagens não são previsões", não devendo por isso ser comparadas com resultados eleitorais, ou mesmo alegando que as próprias sondagens geram efeitos que levam à sua menor precisão, o que tornaria o seu confronto com os resultados "injusto".

Não concordo nada com estes argumentos. Sondagens realizadas num mesmo momento estão em pé de igualdade no que respeita à sua (in)capacidade de previsão. E no entanto, umas aproximam-se mais do que outras dos resultados. Porquê? Pode ser um acaso. Mas quando as margens de erro amostral são claramente ultrapassadas por umas sondagens e não por outras, não haverá razões para tal, ligadas aos métodos utilizados ou à sua incapacidade para lidar com fenómenos sociopolíticos que geram imprecisão (a abstenção diferencial, a espiral do silêncio, os próprios efeitos das sondagens sobre os comportamentos)? Se não compararmos sondagens e métodos, como podemos aprender a melhorá-las?

Três últimos pontos antes do dilúvio de hoje e amanhã:

1. Parece-me evidente a melhoria na precisão da informação fornecida aos eleitores acerca das intenções de voto nas legislativas desde 1991.

2. Introduzir de "factores de correcção" nas sondagens actuais na base de informação passada constitui um enorme risco. Todos os partidos já foram alguma vez sobre e subestimados, enquanto vencedores ou derrotados, enquanto favoritos ou não. Como saber como e quando a "correcção" vai ser útil ou, pelo contrário, produzir ainda maiores distorções?

3. Não há, desde 1991, um partido que seja uniformemente e sistematicamente subestimado nas sondagens. É certo que, desde 1999, isso tem sucedido com o CDS. Acontecerá o mesmo desta vez?

Marktest

Muito interessante. Como, aliás, toda esta secção.

1999. Looks even more familiar?

1999 foi o ano da maioria aboluta que nunca aconteceu. Todas as últimas sondagens divulgadas antes das eleições apontavam para uma percentagem mínima de 46% dos votos (redistribuindo os indecisos apresentados pela SEEDS, pela Aximage, a Euroexpansão, e a Metris), mas o PS acabou com 44% e 115 deputados.




Culpa das sondagens? Em parte, certamente. Houve qualquer coisa que correu mal para os lados da Aximage e (especialmente) Euroexpansão. O fenómeno BE foi subestimado por muitos, o que aponta para os riscos inerentes em usar modelos de amostragem ou ponderação dos votos baseados em comportamentos anteriores.

Contudo, em abono das pobres das sondagens, importa recordar que, em 1999, a abstenção deu um salto considerável - de 34% para 39% - e que parte dessa abstenção, presumivelmente, foi a de declarados votantes PS que, no dia das eleições, se desmobilizaram mais do que os outros. Isto não significa que as sondagens não tenham de procurar melhores modelos de "votantes prováveis", mas sugere que a abstenção diferencial é uma fonte de erro muito importante e muito difícil de evitar. Para além disso, note-se como o desvio absoluto médio dos resultados das sondagens em relação aos resultados dos cinco principais partidos foi de apenas 1,9% (1,8% se descontarmos a Euroexpansão) e como a margem de vitória do PS foi sobrestimada em "apenas"4%, em média (a SEEDS foi quem mais se aproximou dos resultados finais dos dois pontos de vista). Mais uma vez, não se esqueçam que estamos a lidar com sondagens que tiveram de ser conduzidas até, no máximo, uma semana antes das eleições. Apesar de tudo, parecem-me imprecisões muito aceitáveis tendo em conta os constrangimentos e as limitações do método, mas eu sou suspeito...

Imagino que o cenário de 1999 seja aquele que o PS mais teme neste momento e daí o apelo à maioria absoluta, de forma a evitar a desmobilização final que, nesse ano, converteu uma maioria absoluta quase certa num parlamento que mais tarde viria a ser "limiano". É também o cenário a que, talvez, o PSD possa aspirar com mais realismo. É um cenário eminentemente plausível. Mas o presente distingue-se do passado em três coisas importantes:

1. A favor da maioria absoluta: não se trata de reconfirmar Guterres, mas sim de demitir Santana Lopes, duas coisas muito diferentes (a segunda mais apelativa e rodeada de dramatismo e potencial mobilizador do que a primeira);

2. Contra a maioria absoluta: há um BE mais forte que em 1999, opção mais viável para um eleitorado de esquerda que não se deixe influenciar pelo argumento do voto útil no PS.

3. Não sei se contra se a favor: Sócrates não é Guterres.


O deve e o haver destas coisas talvez se perceba melhor dentro de dois dias.

P.S.- Houve outra sondagem publicada nessa semana, da Eurosondagem no Semanário, mas que não incluo por não ter apresentado resultados para o BE. Mas dava 46% para o PS e 32% para o PSD, ou seja, maioria absoluta, tal como as outras.

1995. Looks familiar?

Estas foram as últimas sondagens publicadas antes das eleições legislativas de 1995 (quando indecisos não foram redistribuídos - Metris, Compta, Ipsos - os resultados apresentados resultam da sua redistribuição proporcional pelas opções válidas):



Quando escrevo isto, não faço a mais pequena ideia de como virão a ser as sondagens das próximas 5ª e 6ª feiras. Mas não me custa acreditar que se venham a parecer com estas. PS perto nuns casos, e longe noutros, da maioria absoluta; margens de vitória discrepantes; indeterminação quanto a quem fica à frente: CDS-PP ou CDU.

O que sucedeu nas eleições de 1 de Outubro? O PS ganhou, como todas as sondagens sugeriam. A margem de vitória foi de quase 10 pontos percentuais, como a Metris e a Marktest sugeriam, em claro contraste com a Compta (Compta?) e a Euroteste, que apesar de tudo acertou no CDS-PP à frente da CDU (tal como a Católica). Em média, as sondagens tenderam a subestimar a margem de vitória do PS, tal como subestimaram ao do PSD em 1991, mas de forma menos chocante: cerca de 3% de subestimação, em média. E o desvio absoluto médio entre as sondagens e os resultados dos 4 maiores partidos foi de 1,5%, uma coisa perfeitamente decente do ponto de vista comparativo (especialmente tendo em conta que não se publicavam - e, logo, não se faziam - sondagens até à véspera das eleições).

Tal como em 1991, maiores amostras tenderam a produzir maior precisão. Não há uma vantagem clara da aleatoriedade sobre as quotas, tal como não há uma vantagem clara das presenciais sobre as telefónicas. E uma curiosidade: esta sondagem da Metris foi a sondagem pré-eleitoral mais precisa feita para eleições nacionais em Portugal desde 1991 até hoje. E isto apesar de ter "falhado" a ordem relativa de CDS-PP e CDU.

1991, o ano louco das sondagens

Tinha prometido uma revisitação às sondagens sobre eleições legislativas realizadas na última década e meia, para ver se aprendemos alguma coisa com o passado. Começo com 1991. A razão é simples: só a partir desta altura se pode começar a pedir às sondagens que apresentem resultados que se aproximem minimamente daqueles que vêm a ser os resultados eleitorais. E isto porque só em Julho de 1991, com a aprovação da lei 31/91, se tornou possível publicar resultados até uma semana antes das eleições, dado que, até lá, o embargo era de 30 dias.

O que sucedeu quanto às últimas sondagens publicadas antes das eleições? Vejam por vocês próprios (nas sondagens onde os indecisos não eram redistribuídos, essa redistribuição fê-se proporcionalmente pelas opções válidas):



A dimensão da catástrofe é difícil de descrever. É certo que todos "acertaram" no vencedor. Mas acertar no vencedor é coisa que um extraterrestre chegado a Portugal no dia 5 de Outubro podia fazer com uma moeda com 50% de probabilidade de acertar, ou, se quisesse 100%, lendo os jornais de Setembro de 1991. De resto, em média, as sondagens subestimaram a margem de vitória do PSD sobre o PS em 12%, enquanto que o desvio absoluto médio entre os resultados das sondagens para os quatro principais partidos e o resultado que vieram a ter foi de quase 4% (acima de qualquer concebível margem de erro amostral). A distância entre a data de trabalho de campo e a data das eleições foi, nalguns casos, considerável. Mas o mesmo sucedeu em 1995 e 1999, com resultados, como veremos, bastante distintos.

O que se passou? Um ano depois, uma catástrofe semelhante nas eleições no Reino Unido gerou uma enorme bibliografia. Aqui, nada. A hipótese benévola é um "late surge" do PSD, que as sondagens não puderam captar. Mas é muito duvidoso que isso explique tudo. Amostras maiores geraram, de facto, resultados menos imprecisos. O uso das quotas não parece ter ajudado. E não foi por terem feito sondagens face-a-face que os institutos conseguiram medir melhor as intenções de voto. A abstenção à última da hora terá afectado mais as intenções de voto no PS e no CDS do que no PSD ou no PCP? Talvez. Mas em bom rigor, who knows? Agora, é demasiado tarde para saber.

P.S. Suspeito que algum ressentimento do PSD em relação às sondagens tem as suas origens aqui, com alguma razão, diga-se. Mas como veremos, as coisas mudaram.

Poll of polls VII

1. Resultados tais como destacados na imprensa:



2. Resultados comparáveis entre si e com resultados eleitorais (redistribuição proporcional de indecisos para sondagens que não os redistribuem):



3. Poll of polls ponderada pela dimensão da amostra (média móvel ponderada das três sondagens mais recentes, com ponderação inversa à margem de erro amostral máxima):



4. E porque:
- mais informação não significa melhor compreensão;
- as "últimas três sondagens" não é necessariamente um bom critério de agregação;
- e há muito poucas sondagens no total,

Uma poll of polls ligeiramente diferente: médias ponderadas para quatro períodos de realização de trabalhos de campo (Dezembro, 1ª quinzena de Janeiro, 2ª quinzena de Janeiro e 1ª semana de Fevereiro):




Os gráficos 3 e 4 não são especialmente diferentes. Mas o gráfico 4 apresenta as tendências de forma mais clara e, creio, menos sujeitas a "falsas" flutuações causadas por erros amostrais ou outros.

"Tendências" é como quem diz. As mudanças são mínimas. Começo a pensar que John Curtice, um especialista inglês em comportamento eleitoral que esteve cá numa conferência do ICS, tinha razão quando nos disse que "o resultado das vossas eleições estava decidido muito antes da campanha eleitoral". A ver vamos...

2500 em quantos?

Gostava de ver a ficha técnica desta.

Eurosondagem, 12 de Fevereiro

Os visitantes deste blogue já me fazem o favor de enviarem os resultados das sondagens que vão saindo. Obrigado! A última foi esta: Eurosondagem, com trabalho de campo realizado entre 2 e 8 de Fevereiro (ou seja, em período mais longo e anterior ao da sondagem da Aximage ontem divulgada), e com os seguintes resultados:

PS:44,4% (a Aximage dava 48% após redistribuição de indecisos);
PSD: 31,3% (a Aximage dava 29%);
CDS-PP: 7,4% (Aximage, 7%)
CDU: 6,9% (Aximage, 8%)
BE: 6,4% (Aximage, 5%)
OBN: 3,6%

Tendências:

PS: a Aximage dá o PS a subir um ponto em relação à sua sondagem anterior; a Eurosondagem mostra o PS a descer 1,7%.
PSD: a Aximage dá o PSD a descer 3 pontos; a Eurosondagem dá o PSD a descer 0,8%.
CDS-PP: a Aximage dá o CDS-PP a descer 1 ponto; a Eurosondagem mostra o CDS-PP a subir 0,4%.
CDU: a Aximage dá a CDU a subir 2 pontos; a Eurosondagem dá a CDU a subir 0,3%.
BE: a Aximage dá o BE a subir 1 ponto; a Eurosondagem dá o BE a subir 1,8%.

Tirem daqui as conclusões que quiserem. Eu, pessoalmente, tiro praticamente as mesmas que tirava aqui, ou seja: estas séries de sondagens têm mostrado tendências relativamente congruentes para alguns partidos (BE; CDU; PSD), mas não para outros. Entre estes últimos, o PS é o caso mais notório.

E há várias questões cuja resposta, creio, não é dada por nenhuma destas sondagens com qualquer razoável margem de confiança:

1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002.

Para a semana:

- a poll of polls actualizada antes das últimas sondagens de 5ª e 6ª feiras;
- o confronto entre as sondagens e os resultados eleitorais em 1991, 1995, 1999 e 2002, a ver se aprendemos alguma coisa com o passado...

Parêntesis

Perdoem uma curta nota não directamente relacionada com sondagens, mas não resisto. Estou profundamente intrigado com algumas opções tomadas pelo PSD nesta campanha eleitoral. O problema não são os cartazes da JSD, de que, por acaso, eu também gosto, neste sentido: a melhor arma que se pode ter contra este PS é a do regresso da chamada "tralha guterrista". Mas os problemas são outros, a saber:

1. Eu percebo que é desagradável ter sondagens que dão a derrota como "certa", e suspeito que isso tem custos importantes, como já disse. Mas desse ponto de vista, o mal está feito. Sendo assim, não percebo a insistência na ideia de que há sondagens que dizem que o PSD se está a "aproximar" do PS ou de que PSD e CDS podem ter tantos votos juntos como o PS. Será que quem lidera o PSD não percebe que a melhor arma que tem no momento é precisamente a percepção de que as eleições já estão resolvidas? Será que não entende que quanto mais clara for essa percepção menores são os incentivos para um voto estratégico no PS e para a mobilização contra a continuidade de um governo PSD-CDS? E será que não entende que quanto piores forem as sondagens menor vai ser a desilusão com o resultado do PSD no dia 20 e, logo, maior a possibilidade de que Santana Lopes continue a ser líder do partido? Ou será que o Primeiro-Ministro está iludido ao ponto de achar que a conversão destas eleições num puro referendo à sua continuidade no poder beneficia o PSD?

2. Também não entendo a relutância em relação às campanhas de rua. Uma das coisas que quem estuda campanhas eleitorais sabe é que hoje em dia, em países como o Japão ou os Estados Unidos, as campanhas já não são "modernas": são "pós-modernas". Isso significa que combinam elementos "modernos" (o apelo directo através dos meios de comunicação, direccionado ao eleitorado "flutuante" do centro) com elementos "pré-modernos" (a mobilização porta-a-porta, o contacto directo, não com o objectivo de atraír novos eleitores, mas sim garantir que as bases do partido vão às urnas no dia das eleições). E precisamente quando a maior fonte de perdas eleitorais para o PSD será, certamente, a abstenção do seu eleitorado tradicional, quando quase de certeza já não há "indecisos" entre o PS e o PSD, por que razão se julga ser dispensável o contacto directo e de rua?

Mas talvez seja eu quem esteja enganado. Afinal, há no PSD gente com muita experiência política que saberá muito melhor o que fazer do que eu, que tudo o que sei, sei de livros e ponto final. Ou não?

Aximage, 11 de Fevereiro

Nova sondagem da Aximage, realizada nos dias 7 e 8 de Fevereiro:

PS: 44,7%
PSD: 27,4%
CDU: 7,1%
CDS:6,4%
BE: 4,8%
"Indecisos":6,4%

O total dá 96,8%, depreendendo-se que o que falta (3,2%)corresponda a outros partidos, votos brancos e votos nulos.

Redistribuindo os indecisos proporcionalmente pelas opções válidas de voto, de forma a tornar os resultados comparáveis com resultados eleitorais e os das restantes sondagens, e retirando as casas decimais, ficamos com as seguintes estimativas:

PS: 48%
PSD: 29%
CDU: 8%
CDS-PP: 7%
BE:5%
OBN: 3%

Vamos aguardar um pouco para ver se há mais sondagens nos próximos dois dias, como aliás se prevê que suceda. Contudo, à luz do que foi explicado ontem sobre a evolução dos dados da Aximage, esta sondagem tem novidades: uma nova descida do PSD depois de relativa estabilidade desde meados de Dezembro; uma interrupção da subida contínua do CDS; e uma recuperação do BE. Erro aleatório ou outro? Logo se verá. Mas se a Eurosondagem mostrar as mesmas tendências...

Adenda: Está bem, certo. Mas repito: verificar se estas tendências também aparecem na série da Eurosondagem. Só assim podemos ter maior confiança na ideia de que as oscilações na Aximage estarão a medir reais mudanças nas intenções de voto...

Sondagens "secretas"

Via Bloguítica, fico a saber que o Primeiro-Ministro mencionou os resultados de uma sondagem em que o PS terá descido oito pontos nas intenções de voto. O PS acusa Pedro Santana Lopes de ter "inventado"a sondagem. Entretanto, via e-mail, já me chegaram resultados de uma sondagem que apresenta uma forte descida do PS em comparação com aquelas que foram publicadas e depositadas na Alta Autoridade para a Comunicação Social até ao momento.

O que é importante neste caso não é a existência da sondagem ou os resultados que apresenta caso exista, coisas em que não acredito nem deixo de acreditar. O importante é que há uma deliberação da Alta Autoridade para a Comunicação Social sobre este assunto que seria bom que todos respeitassem.

Antes do dilúvio, 2ª parte

Num post anterior, e por referência ao caso de 2002, sugeri que é muito difícil, na base de dados agregados, determinar se as evoluções verificadas ao longo do tempo nas diferentes sondagens se devem a reais mudanças nas intenções de voto dos portugueses ou a variações ditadas, pura e simplemente, pela diferente capacidade de diferentes sondagens em obter boas medições dessas intenções, seja devido a erros amostrais ou a erros de outra natureza.

Mas para terminar este "ponto de situação" antes do dilúvio da próxima semana, há algo que se pode fazer para mitigar o problema. Independentemente do que se possa achar da qualidade do trabalho que fazem - e eu já disse que acho que, de há uns anos para cá, a qualidade geral é boa - um dos bons serviços que a Aximage e a Eurosondagem (e aqueles que lhes pagam os trabalhos, o Correio da Manhã, o Expresso e a Rádio Renascença) têm prestado nesta campanha é a realização de várias sondagens a intervalos regulares. Façamos então o seguinte exercício:

1. Se temos dúvidas acerca da possibilidade de comprar diferentes sondagens feitas pelos diferentes institutos/empresas, esqueçamos o assunto e não as comparemos.

2. Comparem-se apenas sondagens feitas pelos mesmos institutos/empresas ao longo do tempo. Como utilizam metodologias mais ou menos constantes, quaisquer enviesamentos que essas metodologias introduzam nos resultados serão, em princípio estáveis.

3. Assim, quaisquer variações que encontremos entre sondagens feitas por um mesmo instituto/empresa em diferentes momentos no tempo deverá dever-se a dois factores: erro amostral ou mudança nas intenções de voto.

4. Contudo, se obtivermos evoluções semelhantes para os diferentes institutos/empresas ao longo do tempo, então a probabilidade de que essas semelhanças se devam a erros aleatórios diminui, e a probabilidade de que essas evoluções reflictam de facto mudanças nas intenções de voto aumenta.

Vejamos então, por exemplo, o PSD nas sondagens da Eurosondagem e da Aximage (esta última com redistribuição proporcional de indecisos):



É claro que, quando comparamos os resultados dentro de um mesmo instituto de sondagens, as diferenças ao longo do tempo estão dentro da margem de erro. Mas ambas dão uma descida do PSD do início para meados de Dezembro, e relativa estabilidade a partir daí? Coincidência?

Agora, o CDS-PP:



Tendência comum: subida. Outra coincidência?

Agora o BE:



Outra tendência comum: subida a partir do início de Janeiro, seguida de descida recente. Mais uma coincidência?

A CDU:



Os dados são menos coincidentes entre a Eurosondagem e a Aximage, mas creio não cometer grande erro se disser que uma e outra apontam para relativa estabilidade das intenções de voto na CDU.

Onde as coisas variam mais é no caso do PS:



A Eursondagem sinaliza uma descida do PS em meados de Dezembro, seguida de estabilidade. A Aximage adia essa descida para mais tarde, em meados de Janeiro, fazendo-a seguir de uma ligeira recuperação. Assim, no caso do PS, torna-se difícil saber se se estão a detectar evoluções nas intenções de voto ou meras flutuações devidas a erro amostral. Mas nos restantes casos, independentemente das estimativas concretas fornecidas por cada sondagem - que não interessam para este exercício - as evoluções partilhadas por ambas as séries de sondagens são as seguintes:

1. PSD desce em meados de Dezembro, ficando estável a partir daí;
2. CDS-PP em subida desde Dezembro;
3. CDU estável;
4. BE com subida inicial, seguida de descida recente.

Ficamos a saber rigorosamente como têm evoluído as intenções de voto nos últimos dois meses? Não. Mas a incerteza diminuiu um pouco, acho eu.

Poll of polls ponderada

Um amável e-mail chama-me a atenção para o facto de a poll of polls, em bom rigor, dever dar mais peso às sondagens com amostras de maiores dimensões e, logo, com menor erro amostral. E sugere também que as sondagens com menor erro amostral estão a demonstrar maior estabilidade que as outras...

É verdade, e agradeço o reparo. Foi uma mistura entre não querer complicar ainda mais a compreensão do que estava a fazer, alguma preguiça, e a suposição de que não faria muita diferença. Mas aqui vai: a média móvel das últimas três sondagens em cada momento, a partir de 17 de Dezembro (data de publicação da 3ª sondagem) com ponderação inversa pelo erro amostral (mais erro amostral, menos ponderação).*


Não há alterações dramáticas mas, de facto, as curvas de crescimento e declínio das intenções de voto estão menos acentuadas, o que é em parte fruto da formatação gráfica distinta da figura (mais alongada), mas não só. Passa a ser menos evidente, por exemplo, a ideia de que o CDS terá crescido significativamente desde a pré-campanha.

Obrigado! Passa a ser assim a partir de agora.

*Introduzi uma sondagem adicional que antes não tinha detectado: Intercampus, 23 de Dezembro, Jornal de Notícias.

Antes do dilúvio, 1ª parte

Antes do previsível dilúvio de sondagens a que assistiremos na próxima semana, façamos um ponto da situação. Vou ser relativamente superficial nesta análise e concentrar-me apenas nalguns pontos fundamentais das sondagens conduzidas desde o anúncio de dissolução da Assembleia e convocação de eleições, e principalmente nas dúvidas e perplexidades que elas levantam.

1. A "margem de vitória" do PS. Dê-se por adquirido que o PS vai ser o partido mais votado. Uma derrota do PS seria uma de duas coisas (ou ambas): a maior reviravolta nas intenções de voto alguma vez causada por uma campanha eleitoral na história da democracia portuguesa; ou o maior fracasso das sondagens na história da democracia portuguesa. É certo que, em política ou em sondagens, não há impossíveis. Há apenas probabilidades e improbabilidades. Que o PS acabe por não ser o partido mais votado é uma enorme improbabilidade.

Dito isto, vitória com que margem? Não se sabe. Há duas razões principais para isso. Por um lado, as diferentes "fotografias" das intenções de voto obtidas pelas sondagens realizadas ao longo dos últimos dois meses são discrepantes: a margem de vitória atribuída oscila entre os 8% (Euroteste) e 19% (Aximage, 10 Janeiro). E há possibilidade de algum "voto oculto" no PSD, como já se discutiu. Por outro lado, aquilo que se fotografou foi um alvo em movimento. Falta uma semana e meia, e várias coisas podem ainda mudar. Uma das coisas mais importantes que vai certamente mudar é a forma como aqueles que actualmente dizem tencionar votar num partido acabam por engrossar a abstenção, como sempre acontece. Se o fizessem de forma proporcional às actuais intenções de voto, não faria diferença. Mas pensa-se que existe sempre uma "abstenção diferencial", ou seja, há sempre partidos mais afectados pela abstenção do que outros. E esta abstenção é, sabemos pelo menos isso com alguma certeza, a maior e mais importante fonte de discrepância entre as sondagens e os resultados eleitorais.

Uma maneira de perceber o que poderá suceder é olhar para o passado e ver que partidos são mais "beneficiados" ou "afectados" por esse presumível efeito. O gráfico seguinte mostra os resultados das sondagens realizadas antes do início da campanha eleitoral de 2002. O último ponto na série é formado pelos resultados nas eleições legislativas de 2002.



Mas isto não chega. Este gráfico ilustra vários dos problemas que se enfrentam quando nos pomos a fazer teorias ad hoc acerca daquilo que as sondagens realizadas antes das eleições nos podem dizem sobre os resultados. Notem que, à excepção de duas sondagens, todas as restantes mostram uma vantagem do PSD bem superior àquela que se veio a verificar. Há algumas teorias que justificam este desfecho: a da "abstenção por certeza de vitória", ou seja, a uma maior desmobilização comparativa dos eleitores do partido que se "sabe" ir ganhar; ou a dos efeitos da campanha. Uma e outra seriam, potencialmente, boas notícias para o PSD em 2005.

Mas imaginem que as "boas fotografias" da intenção de voto no gráfico anterior foram precisamente as duas sondagens que, uma em Janeiro e outra em Fevereiro de 2002, já davam resultados muito próximos daqueles que se vieram a verificar no dia 17 de Março? Há uma outra teoria para isto: a de que no fundamental, as intenções de voto estão decididas bem antes da campanha, na base de factores de longo (ideologia; identificação partidária) e médio-prazos (avaliação do governo). Qual a teoria verdadeira? Exclusivamente na base destes dados, não é possível saber.

Deixem-me pegar no mesmo assunto, mas agora do avesso. Quando olhamos para as últimas eleições europeias de 2004, por exemplo, verificamos que, ao contrário do que sucedeu em 2002, quase todas as sondagens subestimaram (em vez de sobreestimarem) o vencedor. Mas quererá isso dizer que a teoria da "abstenção por certeza de vitória" não faz sentido? E se essa "anomalia" se deveu antes ao factor "Sousa Franco"? Ou será que o uso (comum e habitual) das eleições europeias como forma de punir o governo torna impossível a comparação com as legislativas? À partida, é impossível saber.

E mesmo o caso do CDS-PP é opaco: o facto de todas as sondagens realizadas antes da (e, já agora, durante a) campanha de 2002 subestimarem o CDS-PP ter-se-á devido a um late surge do partido nos últimos dias ou a um enviesamento geral partilhado por todas as sondagens? Na base de dados deste género, não é possível saber.


2. O CDS-PP. A propósito do CDS-PP, há outra fonte de perplexidade nestas sondagens. Há dias, avancei aqui uma hipótese explicativa para a subestimação do CDS nas sondagens, pelo menos de 1999: o voto no CDS como "voto oculto". Na altura, avisei que se tratava apenas de um palpite...

E ainda bem que avisei. Porque agora estou a ficar baralhado. Se o voto no CDS é "oculto" (ou pelo menos "mais oculto que os outros"), por que razão será a única sondagem conduzida até agora através de simulação de voto em urna (Intercampus, publicada a 3 de Janeiro) aquela que, entre as mais recentes, tem intenções de voto mais baixas no CDS? E porque estão todas as sondagens telefónicas (à excepção da Marktest) a dar intenções de voto mais altas ao CDS do que as sondagens presenciais, quando no passado tendia a acontecer precisamente o oposto? Será que alguns institutos andam a introduzir "factores de correcção" para compensar aquela que tem sido a subestimação do CDS-PP no passado? Será isto um efeito da utilização de resultados eleitorais anteriores para ponderar a amostra? E se as respostas às questões anteriores forem afirmativas, será que quem está a fazer uma ou outra coisas está a fazer bem ou mal?


3. O Bloco. Depois de um ponto alto no final de Janeiro com três ou quatro sondagens consecutivas, o Bloco começa a encostar, nas sondagens que se seguiram, a valores menos surpreendentes. Mudança real ou fotografias desfocadas? Uma vez mais, não se sabe. Mas aqui talvez valha a pena confrontar a frieza dos números com a apreciação mais qualitativa da campanha. Não sei se terão reparado, mas o fim da pré-campanha e o início oficial da campanha trouxe uma transição, quase perfeitamente orquestrada, da conflito governo/oposição para lutas separadas no interior de cada um dos blocos ideológicos. Assim, temos:

- À direita: o PSD a dar tudo por tudo a ver se não perde muito do seu eleitorado para a abstenção e consegue um resultado "honroso"; um PP "moderado" a ver se sobra qualquer coisa da previsível desmobilização do PSD. O resultado são pequenas escaramuças entre Portas e Santana, que tenderão inevitavelmente a aumentar.

- À esquerda: apesar do que se disse no início, temos agora o PS a ver se vai buscar votos ao Bloco; o Bloco a ver se os preserva e ao mesmo tempo, entra pelo quintal do PCP (desemprego, desemprego, e mais desemprego); e o PCP a ver se se aguenta no meio de tudo isto.

Sobre a luta à direita, pelo que se disse anteriormente, tudo inconclusivo. Sobre a luta à esquerda, as sondagens sugerem - sugerem, repito - que a corda está a começar a partir para o lado do Bloco, pelo menos em comparação com os resultados elevados de finais de Janeiro.

Poll of polls VI

Desde o dia 3 de Fevereiro, foram publicadas três novas sondagens. Uma da Intercampus, já aqui relatada; outra da Aximage, para o Correio da Manhã, cujos resultados podem ser encontrados aqui; e outra ainda do IPOM, para o Independente, aqui. Há casos de informação incompleta, assinalados com pontos de interrogação. Vamos, no entanto, adicioná-las todas à lista:



Redistribuindo os indecisos proporcionalmente pelas opções válidas nos casos em que os autores das sondagens declinaram fazê-lo, ficamos com os seguintes resultados, comparáveis entre si e com resultados eleitorais:



Se pegássemos em todas as observações que temos desde o início de Dezembro de 2004 e calculássemos sucessivas polls of polls - a média das últimas três sondagens - ficaríamos com o seguinte gráfico evolutivo.


Nunca é demais enfatizar as limitações do exercício poll of polls, que foram descritas atrás. Contudo, se estas sondagens não contivessem erros amostrais ou não amostrais e se a sua evolução traduzisse exclusivamente a mudança nas intenções de voto (e são todos grandes "ses"), teríamos:

1. Estabilidade nas intenções de voto CDU;
2. Subida inicial do CDS-PP, seguida de estabilização;
3. Descida inicial do PSD, seguida de estabilização;
4. Descida longa do PS, seguida de recuperação recente;
5. Subida longa do BE, seguida de descida recente.

Não se esqueçam dos "ses" anteriores, e do facto destas médias ocultarem resultados que parecem ter algumas diferenças estruturais:

1. Grande variação nas percentagens do PSD atribuídas pelas diferentes sondagens, especialmente no confronto entre a sondagem da Euroteste e as restantes;
2. Instabilidade no posicionamento relativo CDS/CDU: as sondagens "presenciais" (Católica; Intercampus) colocam o CDS atrás; as sondagens telefónicas colocam o CDS a par ou acima da CDU.

Mas será que a evolução do gráfico anterior faz sentido do ponto de vista político? Que vos parece?

Pausa

Para a semana, actualização da poll of polls com sondagens da Intercampus e IPOM (Independente). Mas para já, vou descansar uns dias...

120

José Sócrates venceu o debate televisivo de ontem, segundo os resultados da sondagem Correio da Manhã/Aximage realizada após o debate televisivo. De acordo com o inquérito telefónico a 120 eleitores, 50,4% atribuem a vitória ao secretário-geral do PS, enquanto 20,2% dizem que o actual primeiro-ministro foi o vencedor. 29,6% consideram que se registou um empate.

Aleatória estratificada por região, sexo, idade, actividade, instrução e voto legislativo, polietápica e representativa do universo, com 120 entrevistas telefónicas.

Atenção:

- margem de erro máxima para uma amostra aleatória de 120 inquiridos (com 95% de confiança): 9%.

-Universo: Eleitores residentes em Portugal em lares com telefone fixo. Só pode ser lapso. Caso contrário, estaria a incluir os que não assistiram ao debate (que tendo em conta que a audiência foi de 16,5%, foram quase todos...)

Mas não quero ser destrutivo. Este tipo de estudos é muito difícil de fazer, e é uma primeira tentativa. Sempre será um bocadinho melhor que as "sondagens" mencionadas anteriormente, apesar de tudo. Mas é suficientemente melhor? A ânsia de saber "quem ganhou" justificará fazer estudos com estas insuficiências? Não sei...

Amostras voluntárias

Preciso de dizer alguma coisa sobre a "representatividade" da "sondagem" levada a cabo pela SIC Notícias para determinar o "vencedor" do debate de ontem? Eu tenderia a pensar que não. Mas na realidade, fico preocupado. Há uns tempos, uma jornalista veio-me falar das "sondagens da Católica" que aparecem na última página do Público (que não passam de uns inquéritos feitos no site do jornal). Fiquei estarrecido, acabando por sujeitar a senhora a uma prelecção de dez minutos sobre a forma como a "amostra" que responde a esses inquéritos é auto-seleccionada e, logo, não representa coisa alguma. E ontem, um dos jornalistas que moderava o debate introduziu uma questão (foi, aliás, mais um comentário que uma questão) dizendo que "segundo o nosso inquérito, pelos vistos, Santana Lopes ganhou o debate". Ninguém nasce ensinado. Mas nas escolas de comunicação social donde brotam estes jornalistas, não se fala destes assuntos? Pelos vistos, não.

Indecisos

Há alguma indefinição quanto à percentagem de eleitores que estão indecisos sobre em que partido irão votar. Há quem ache (deseje?) que sejam muitos, há quem ache (deseje?) que sejam menos. As sondagens têm sido pouco elucidativas sobre esse aspecto. Olhando apenas para as mais recentes, as percentagens oscilam entre os 8% e os cerca de 30%. Em que ficamos?

A minha convicção é que estas variações decorrem mais de factores metodológicos do que de reais mutações na percentagem de indecisos ao longo do tempo ou mesmo de erro amostral. Factores tais como:

1. A mera "contagem". Aqueles que são indicados como indecisos incluem aqueles que não quiseram responder à pergunta sobre intenção de voto? Por vezes, isto não é claro na apresentação de resultados. Se for esse o caso, podemos estar a sobreestimá-los.

2. A sondagem teve uma alta ou baixa taxa de recusas? Ou seja: qual a percentagem de pessoas cuja inquirição foi tentada mas que se recusaram de todo a fazer parte da amostra? Se essa taxa foi muito alta, muitos dos reais indecisos podem estar escondidos "fora" da amostra, ou seja, dentro do contigente daqueles que se recusaram a participar no inquérito, sendo por isso subestimada pela sondagem. Mas se a taxa de recusa foi muito baixa, é quase certo que a percentagem de indecisos apurada vai ser maior, e talvez maior do que a "real". As pessoas aceitam participar (especialmente quando o questionário se debruça sobre outros temas que não apenas a intenção de voto) mas, quando questionados sobre em que partido votariam, algumas refugiam-se na indecisão como maneira de não revelarem o seu sentido de voto. Nestes casos, a % de indecisos pode estar também sobreestimada.

Seja como for, não se esqueçam que, quando as pessoas dizem que não sabem ou ainda não decidiram em quem vão votar - e por muito que seja o esforço feito em "filtrar" previamente os prováveis abstencionistas - uma coisa que algumas delas não terão ainda decidido é se vão votar ou não. Logo, seja qual for a percentagem de indecisos, é quase garantido que ela não será convertida, na sua totalidade, em votos em partidos no dia 20. Aliás, a julgar pelo passado, essa percentagem de indecisos deverá representar, na sua maioria, abstenção. Logo, a noção de que serão os "indecisos" das sondagens a "decidir" estas eleições tem de ser um bocado relativizada...

Intercampus, 3 de Fevereiro

Nova sondagem, desta vez realizada pela Intercampus para a TVI e o Jornal de Notícias. Resultados tal como destacados no jornal:

PS: 46,5%
PSD: 31,6%
CDU: 8,1%
CDS-PP: 4,8%
BE: 4,5%
OBN: 4,5%

É pena, mas a ficha técnica não explica como foram escolhidos os 999 inquiridos. De assinalar, contudo, uma inovação em relação às sondagens anteriores: a utilização de simulação de voto em urna, colocando os inquiridos numa situação mais realista e procurando vencer resistências à revelação do sentido de voto. À medida que nos aproximemos da data das eleições, é provável que outras sondagens adoptem esta metodologia, como é, aliás, habitual.

"O efeito de ser amostra"

Do Hipatia:

Podem achar estranho, mas eu, que ainda há poucos dias não sabia em quem é que havia de votar (não, não faço parte dos eleitorado que transita ao centro), já me decidi. E decidi-me quando no domingo, logo pela manhã, uma senhora pediu a minha ajuda para uma sondagem. Andava à procura de alguém na faixa 25-34 e já há algum tempo que não passava ninguém com essas características. Estendeu-me uma caneta, uma urna e um boletim de voto igualzinho ao que no dia 20 de Fevereiro iremos preencher. E foi nesse instante que eu me decidi. Fechei os olhos e fiz a cruz onde, daqui a umas semanas, a farei. Não sei se o Margens de Erro alguma fez pensou que uma sondagem também pode ter este efeito.

Eu já pensei. Mas como de costume, já alguém tinha pensado antes:

"Most citizens, we argue, simply do not possess preformed attitudes at the level of specificity demanded in surveys. Rather, they carry around in their heads a mix of only partially consistent ideas and considerations. When questioned, they call to mind a sample of those ideas, including an oversample of ideas made salient by the questionnaire and other recent events, and use them to choose among the options offered. But their choices do not, in most cases, reflect anything that can be described as true attitudes; rather, they reflect the thoughts that are most accessible in memory at the moment of response." ( Zaller, John and Stanley Feldman. 1992. "A Simple Theory of the Survey Response: Answering Questions Versus Revealing Preferences." American Journal of Political Science 36:p. 579).

Com o resultado de que, como apenas a amostra foi sujeita ao estímulo do questionário, mesmo que as preferências formadas na resposta a esse questionário se tornem definitivas, elas não são necessariamente representativas das preferências de toda uma população (que não terá sido sujeita a este estímulo). Como se já não bastassem todos as outras potenciais fontes de erro...

Os efeitos (indirectos) das sondagens

Quem leia alguns posts escritos atrás, como este, este ou este, pode ficar com a ideia de que as críticas às sondagens e às empresas ou institutos que as fazem são um exclusivo do PSD. Nada mais falso, e desculpem se dei erradamente essa ideia. O PSD é apenas o partido que tem feito essas críticas mais frequente e violentamente nos últimos anos. Há algum tempo, para escrever a introdução de um artigo sobre o tema, resolvi investigar o que se disse sobre sondagens em debates da Assembleia da República, coisa possível de fazer com a ajuda deste excelente serviço. Deixo-vos uma citação interessante, datada de Maio de 1988 (DAR nº 83, 4-5-1988, p. 3348):

"Apesar da sua importância, a experiência passada - infelizmente confirmada pela evolução da prática recente- lançou sobre as sondagens um anátema de descrédito e desconfiança. O debate político, principalmente em momentos eleitorais, levantou dúvidas e suspeitas muito legítimas sobre as condições de realização de sondagens de opinião. Muita gente criticou e denunciou deficiências técnicas ou mesmo eventuais manipulações na realização de sondagens, ao mesmo tempo que eram visíveis na comunicação social abusos e manipulações na interpretação e apresentação dos resultados que foram feitas de modo parcial, abusivo e partidário. (...) É, ou não, contrário à democracia que a serenidade do julgamento popular possa depender de influências de sondagens sobre as quais não há garantias de que observaram escrupulosamente as regras científicas da disciplina?"

Era José Sócrates quem assim falava no parlamento, defendendo um projecto de lei do PS sobre o assunto. Escolhi esta citação por ser de um actual líder partidário, mas há muitas outras, algumas bastante mais cáusticas. Mas julgo não errar se disser que as acusações abertas de manipulação, "sondagens fabricadas" ou "fraudes" têm mais frequentemente origem no PSD.

Independentemente da legitimidade em fazer estas críticas ou da razão objectiva que lhes pode assisitir, assuntos que preferia não comentar para já, o que mais me intriga é outra coisa. Que dividendos pensam os agentes políticos retirar dos ataques públicos que dirigem às empresas/institutos de sondagens? Ou mais interessante ainda: será que as sondagens têm de facto os efeitos sobre o comportamento eleitoral que os políticos supõem, efeitos esses que visam neutralizar quando atacam publicamente os resultados das sondagens?

Como imaginam, há décadas de investigação sobre a influência que as percepções do estado da opinião pública têm sobre o comportamento individual. Diana Mutz, no relativamente recente Impersonal Influence, depois de inventariar uma enorme quantidade de estudos sobre a matéria, sintetiza o estado da arte da seguinte forma (p. 196):

"A preocupação existente acerca da influência que as percepções da opinião pública têm sobre atitudes e comportamentos individuais gerou uma enorme quantidade de pesquisas. (...) A característica geral mais impressionante de todos estes estudos é o facto de sugerirem um impacto muito mais modesto do que aquilo que se pressupõe nas discussões populares sobre o assunto."

Daqui, parece resultar uma de duas conclusões: ou os estudiosos da matéria estão enganados e as sondagens afectam realmente os comportamentos dos indivíduos de forma significativa; ou os políticos são todos irracionais e estão a perder tempo e credibilidade quando vociferam contra as sondagens.

Contudo, acho que há uma terceira hipótese. É possível, para não dizer provável, que, tal como a produção científica sobre o assunto sugere, saber os resultados de uma determinada sondagem acabe por não fazer grandes efeitos no comportamento dos eleitores. Para cada efeito bandwagon (colocar os eleitores atrás do "carro que vai à frente") que se exerça sobre um conjunto de pessoas há sempre um efeito underdog sobre outras que neutraliza o primeiro. Só eleitores altamente sofisticados ou altamente desinformados são susceptíveis de tomar as sondagens como referência directa para o voto, os primeiros agindo estrategicamente na base das tendências avançadas pelas sondagens (e temos visto os custos de informação que isto implica) e os segundos tomando a opinião da maioria como boa.

Mas é possível, para não dizer provável, que as sondagens exerçam grandes efeitos no comportamento de outros agentes, cujas acções e decisões acabem, elas sim, por ter consequências nos resultados eleitorais. E nem sequer estou a pensar nos media, cujos efeitos na política tendem também a ser muito sobreestimados. Estou a pensar nas bases dos partidos e nos seus financiadores. Como preservar o poder e a autoridade como líder de um partido, como mobilizar efectivamente as distritais e os militantes para as campanhas, se as sondagens dizem que está tudo perdido? E do ponto de vista dos financiadores, para quê investir num determinado partido se tudo indica que ele não vai para o poder? O efeito de desmobilização que sondagens desfavoráveis exercem sobre as bases, a agitação que lançam nos potenciais sucessores e o afastamento de potenciais financiadores podem ser muito mais nocivos e incapacitantes para um partido do que quaisquer efeitos das sondagens sobre o eleitorado em geral. Acho que é a esta luz que se devem interpretar a irritação dos líderes partidários com sondagens que lhes são desfavoráveis.*

E se isto for verdade, sobra uma questão: por que serão as sondagens desfavoráveis mais "irritantes" para o PSD do que para os outros partidos portugueses? O que distingue o PSD e o torna, pelo menos a julgar pelo comportamento dos seus líderes, mais vulnerável a sondagens desfavoráveis? Segue um projecto de uma tese de doutoramento para a mesa 2, se faz favor.

*A ideia, claro, não é minha: vejam Henshel, Richard L., and William Johnston. 1987. “The Emergence of Bandwagon Effects: A Theory.” The Sociological Quarterly 28:493-511.