domingo, maio 31, 2009

Tendências?

Políticos e comentadores têm falado de "tendências" nas sondagens para as europeias. Como procurá-las? Uma maneira possível é tirar partido do facto de quatro dos cinco institutos de sondagens já terem realizado mais do que uma sondagem em momentos diferentes no tempo. O quadro seguinte mostra a diferença, para cada partido e cada instituto, entre a sondagem mais recente e a sondagem anterior, na base do quadro mostrado no post anterior:



Nem me arrisco a fazer qualquer tipo de afirmação sobre isto, a não ser para vos dar um elemento adicional. Há um teste estatístico sobre a diferença de proporções entre duas amostras independentes (ver aqui, por exemplo). Se o fizermos, para as duas sondagens de cada instituto e para cada partido, e tomando em conta as dimensões das sub-amostras, só quatro dessas diferenças emergem como estatisticamente significativas a 95%:

- 3 na Intercampus: BE (-), CDS-PP (-) e OBN (+);
- 1 na Aximage: OBN (+).

Europeias, Ponto de Situação

Sondagens divulgadas até ao momento:



Média ponderada das sondagens realizadas até ao momento e teste de significância das diferenças entre partidos:

Taxas de resposta

Seguindo um link colocado num comentário a uma mensagem abaixo, cheguei a este interessante post. Uma das questões levantadas tem a ver com as taxas de resposta anormalmente altas que são reportadas nas fichas técnicas de algumas sondagens.

Note-se que a taxa de resposta em entrevistas telefónicas corresponde à proporção de entrevistas completas sobre a soma das seguintes parcelas:

1. Entrevistas completas
2. Entrevistas iniciadas mas não completadas;
3. Recusas;
4. Casos em que não se estabeleceu contacto com a pessoa que deveria responder;
5. Outros casos em que a pessoa que deveria ter sido inquirida não o pôde ser (falecido, incapaz de responder por razões físicas ou psíquicas, problemas linguísticos, etc.);
6. Casos em que não se conseguiu apurar se o nº de telefone seleccionado corresponde a um domicílio;
7. Casos em que o nº de telefone esteve ocupado nas várias tentativas.
8. Casos em que não se conseguiu determinar se no domicílio existe um membro do universo.

É evidente, para quem saiba um mínimo sobre como este tipo de sondagens correm realmente, que a divisão do valor 1 sobre a soma dos valores 1 a 8 nunca dá 0,85, ou seja, não há taxas de resposta de 85% em inquéritos deste género. Logo, uma das coisas com que a ERC se deveria preocupar, a meu ver, seria garantir que todos os institutos usam, nas suas fichas técnicas, a mesma definição do que é uma taxa de resposta, porque pelos vistos não o estão a fazer. Estarão, provavelmente, a relatar uma taxa de cooperação, que é simplesmente o rácio do valor em 1 sobre a soma dos valores 1 a 3 (na sua versão mais "benévola"). O que significa também que, enquanto não houver convergência de critérios, ninguém vai dar a taxa de resposta (ninguém está disposto a fornecer valores reais de 10-30% para que eles sejam - ilegitimamente - comparados com valores de 85%).

Isto é especialmente importante para as sondagens que usam amostragem aleatória porque, como se diz no post que mencionei inicialmente, é assim que se mostra em que medida a amostra obtida se desvia da presunção de que todos os seus elementos resultaram de uma selecção dos membros do universo com igual probabilidade.

sábado, maio 30, 2009

Coisas que me chegam pelo Google Alerts

"Foguete de sondagem faz voo-teste do Centro de Lançamento de Alcântara".

"
Não houve uma única eleição em que eu tivesse participado em que as sondagens não tivessem apresentado para o CDS piores resultados do que os votos em urna. O CDS vai ter um grande resultado."

"Manuela Moura Guedes criticou esta noite a «falta de ética» e o «comportamento jornalístico» do Diário de Notícias. Em causa, o facto de a edição electrónica do diário ter referido durante a tarde uma sondagem exclusiva da TVI."

E a grande vencedora de hoje:
"Ainda é muito cedo para vaticinar uma vitória do PS (...) são factores que vão determinar uma vitória do PS"

Europeias. Marktest, 20-22 Maio, N=804, Tel.

PS: 31,9%
PSD: 30,1%
BE: 7,1%
CDU: 7.1%
CDS-PP: 4,7%
OBN: 19.1%

Estas percentagens são em relação a um total de 382 inquiridos, já que, dos 804, 387 não responderam ou disseram não saber em quem votar ao passo que 35 declararam que não votariam.

Gostava de chamar a atenção para uma coisa. Aqui há uns tempos, a propósito do Barómetro da Marktest para as legislativas, lembrei que a Marktest faz ponderação pós-amostral usando a recordação de voto em 2005 como variável de ponderação. Mais recentemente, quando olhei para os resultados da sondagem anterior da Marktest sobre as europeias, desconfiei. Mas agora confirmei: a Marktest, no caso das europeias, não faz ponderação pós-amostral. E fica por isso com valores para os OBN semelhantes àqueles que tipicamente apresenta nas sondagens sobre as legislativas antes de ponderação. Na sondagem sobre as legislativas divulgada também hoje, por exemplo, os OBN antes de ponderação são 17,2%.

Por que faz a Marktest isto? Não sei. Eu imaginaria que um procedimento que tem como objectivo corrigir distorções da amostra serve tão bem (ou tão mal) para perguntas sobre uma eleição como para perguntas sobre outra (ou, de resto, para perguntas que nem sejam sobre eleições). Mas deve haver uma razão. Já os simpatizantes de um dos "Outros" partidos talvez não devam gastar os foguetes todos a propósito destes "19,1%" (se bem que, se eu fosse um político de um desses partidos, se calhar já tinha começado a explicar que a Marktest anuncia uma transformação radical do sistema partidário português...).

sexta-feira, maio 29, 2009

Europeias. Intercampus, 15-26 Maio, N=992, Presencial (voto simulado em urna)

PS: 37,1%
PSD: 32%
BE: 9,9%
CDU: 7,7%
CDS-PP: 3,5%
OBN: 9,8% (outros partidos representam 4,9%).

19,2% da amostra era composta por Não sabe/Não responde, pelo que as percentagens acima foram calculadas em relação a uma base de 802 inquiridos. Não detecto em sítio nenhum números sobre abstencionistas declarados, pelo que mais uma vez presumo que ou a amostra é composta por pessoas que afirmam tencionam votar ou os abstencionistas declarados estão entre os 19,2%.

Obrigado aos leitores que foram enviando esta informação.

Europeias, Ponto de Situação



Já agora, mesmo ciente das objecções possíveis, aqui vão os resultados caso estas sondagens fossem uma única (ou seja, uma média ponderada de todas as sondagens), com uma amostra de 5326 inquiridos com intenções de voto válidas, branco e nulo:



Reporto apenas intervalos de confiança com aproximação à normal, dado que, com uma amostra destas, os resultados são exactamente (à décima) iguais aos dos intervalos exactos. Notem como as diferenças entre PS e PSD, BE e CDU, e CDU e CDS estão todas acima da margem de erro (explicação aqui, com links para fontes).

Sobre intervalos de confiança para distribuições multinomiais, há uma discussão interessante entre o LA-C e um comentador aqui. Segundo percebo, o paper mais citado sobre o assunto é este. Mas o tema está muito para além das minhas capacidades.

Europeias. Eurosondagem, 25-27 Maio, N= 2525, Tel.

PS: 35,5%
PSD: 32,5%
CDU: 9,2%
BE: 8,8%
CDS-PP: 6,5%

A soma disto dá 92,5%, pelo que presumo que OBN:7,5%.

A notícia menciona igualmente que, entre os 2525, 19,2% (485) não sabe ou não responde. Pelo que a sub-amostra de eleitores com intenções de voto será de 2040 inquiridos. Não há menção de abstencionistas declarados nas várias notícias que consultei, pelo que presumo que, entre os 2525, todos afirmaram que iriam votar. Mas estou a presumir.

quinta-feira, maio 28, 2009

Intervalos de confiança exactos (e outros)

Para os cálculos que o LA-C fez aqui à unha (ou seja, com o Matlab), há um bom simulador online que calcula quatro tipos de intervalo de confiança. O intervalo habitualmente estimado (por aproximação normal à binomial, que usei aqui) é o Wald. O que o Luís calculou é o exacto. Quanto aos outros, a página explica, mas eu vou ter de ruminar mais um bocadinho sobre o assunto. Há também estimativas pontuais alternativas. Um maná.

E um mini-paper que desenvolve o que o Luís explicou.

Ainda o empate entre o PS e o PSD

Há quem não goste da estratégia de tratar de várias sondagens como se de uma só (grande) sondagem se tratasse. Os argumentos são legítimos: Não podemos saber se não terá havido uma pessoa a responder a mais do que uma sondagem, as metodologias das sondagens são diferentes, o tratamento dos indecisos é diferente, etc, etc. Todos estes argumentos são válidos apesar de, na minha opinião, serem pouco relevantes. De qualquer forma, podemos pegar no problema por outra perspectiva.

Vamos admitir que o PS e o PSD estão, de facto, empatados. Se esta hipótese estiver correcta, então a probabilidade de o PS aparecer à frente numa dada sondagem é de 0,5 (50%). A probabilidade de aparecer à frente em duas sondagens é de 0,5x0,5=0.25 (25%). A probabilidade de aparecer à frente nas seis sondagens já realizadas seria de 0,5^6=0,015625 (1,56%). Ou seja, se os partidos estivessem empatados, a probabilidade de nas 6 sondagens já feitas o PS aparecer sempre à frente seria de 1,56%. Podemos então pôr de parte essa hipótese de ambos estarem empatados com um grau de certeza de 98,4%. É impossívelque estejam empatados? Não, apenas altamente improvável. O mesmo raciocínio se aplica à disputa pelo terceiro lugar, entre o BE e o CDS, e à disputa para o 4º lugar no pódio, disputa entre o CDS-PP e a CDU.

quarta-feira, maio 27, 2009

Intervalos de confiança (só para nerds)

Num dos seus últimos posts, o Pedro explicou com algum detalhe como se calculam intervalos de confiança a partir das sondagens. Penso que explicou muito bem, mas houve algo que não explicitou.

A ideia de um intervalo de confiança é tentar perceber que votações num dado partido são compatíveis com uma dada sondagem. Por exemplo. Suponhamos que uma sondagem dá 40% ao PS. É apenas uma sondagem, não podemos ter a certeza de que a percentagem de votantes no PS seja, de facto, 40%. Pergunta-se então que valores que são compatíveis com os 40% da sondagem? Se a sondagem aponta para 40%, então não é razoável acreditar que o verdadeiro valor das intenções de voto seja 80%, por exemplo. Já 38 ou 42% parecem valores razoáveis. E 48%?, é razoável? É na definição dos extremos que entram os intervalos de confiança.

Por qualquer motivo, que desconheço, convencionou-se que um bom intervalo de confiança era o de 95%. A ideia é subtil. Escolhe-se um intervalo de tal forma que se se fizessem muitas sondagens, 95% delas incluiriam o verdadeiro valor da votação do PS nos seus intervalos de confiança. Isso quer dizer que se, se fizer muitas sondagens, uma em cada 20 errará por muito.

Como calcular esse intervalo de confiança? Quem sabe uns rudimentos de estatística, sabe que a distribuição dos votos segue uma lei de probabilidade binomial. Mas esta é daquelas distribuições que é chatinha de usar, pelo que a maioria das pessoas usa a lei normal, que é muito simples de usar e é uma aproximação bastante razoável na maioria dos casos.

Infelizmente, quando se fala de partidos com pequenas votações a aproximação deteriora-se bastante, podendo até levar a situações de puro nonsense. Imagine o leitor que numa amostra de 400 pessoas, 0,7% declararam votar no POUS. Um intervalo de confiança de 95% incluiria todos os valores desde o 0,1% negativos até ao 1,5% positivo. Ou seja, estar-se-ia a considerar como hipótese razoável que o POUS tivesse um número negativo de votos. Já se se usasse a lei binomial concluir-se-ia, correctamente, que o intervalo de confiança ia de 0,15% até 1,79%. Refaço o quadro que o Pedro fez com os intervalos de confiança para a última sondagem da Aximage, com percentagens calculadas para um universo de 401 pessoas):



Veja-se que a aproximação que o Pedro fez é quase perfeita para o PS e PSD, subestima um pouco a votação dos pequenos partidos (BE, PCP e CDS) e prejudica bastante os micro partidos (o meu intervalo inferior é 30% mais elevado que o do Pedro). Repare-se que este fenómeno pode ajudar a explicar a sensação que muitas vezes se tem de que as votações dos pequenos partidos, sistematicamente, se situam na parte superior do intervalo de confiança. Muitas vezes ouvi dirigentes do PCP e do CDS a queixarem-se disto mesmo.

Olhando para os intervalos de confiança estimados a partir desta sondagem, não se poria de parte a hipótese de o PSD ser o mais votado, nem de o CDS-PP ser a terceira força. Infelizmente para uns, e felizmente para outros, o facto de haver várias sondagens permite reduzir os intervalos de confiança. Como mero exemplo académico, imagine o leitor que em vez de uma sondagem da Aximage, havia 4 sondagens diferentes, feitas seguindo a mesma metodologia e que em média, os resultados são iguais ao quadro de cima. Excluindo a hipótese de haver alguém que tenha respondido a mais do que uma sondagem, temos o equivalente a uma grande sondagem feita com base em 1604 pessoas:



Os intervalos de confiança ficam bem estreitos. Dado que já várias sondagens foram feitas e que todas apontam para uma vitória do PS é difícil de aceitar a hipótese de o PSD e o PS estarem empatados. Para já, o PS leva vantagem.

Europeias: ponto de situação

Desopilar

"Por outro lado, enquanto líder do PSD-M, [Alberto João Jardim], questionado sobre a sondagem que aponta para um empate técnico entre PSD e PS para as eleições europeias, começou por dizer que nao comenta sondagens e que «de empates estou eu farto no Marítimo".

A última sondagem da Aximage, reloaded

Ora bem: tudo esclarecido na versão em papel do Correio da Manhã (parabéns ao CM, já agora):

Abstenção: 64,7% (776 dos 1200 inquiridos, na base do gráfico apresentado)

Intenções de voto antes de redistribuição de indecisos:
PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU (PCP): 7,9%
CDS-PP: 6,3%
OBN: 2,8%
Indecisos: 5,4%

Intenções de voto após redistribuição de indecisos (tratados como abstencionistas; meu cálculo):
PS: 40,2%
PSD: 32,9%
BE: 9,0%
CDU (PCP): 8,4%
CDS-PP: 6,7%
OBN: 3,0%
(Soma dá 100,2% devido a arredondamentos)

Agora notem uma coisa interessante. Se na amostra há 776 declarados abstencionistas, e se nos 424 que indicaram que iriam votar há 5,4% de indecisos (23 pessoas), então a sub-amostra na base da qual os últimos resultados são calculados é composta por 401 observações. E se é assim:


Então esta sondagem dá (espero não ter errado nenhuma fórmula)... outro empate técnico entre o PS e o PSD, seja do ponto de vista mais vulgar da "sobreposição de intervalos" seja do ponto de vista mais correcto da significância estatística da diferença entre as duas proporções. Não parecia, pois não? Isto, claro, na presunção de que os 64,7% de abstencionistas correspondam a 64,7% da amostra. Mas no CM em papel não ficam dúvidas disso.

Por outro lado, como expliquei aqui no outro dia, não é de todo indiferente que esta seja a sexta de seis sondagens onde, havendo "empates técnicos", há sempre mais intenções de voto no PS que no PSD...

terça-feira, maio 26, 2009

Europeias. Aximage, 18-22 Maio, N=1200, Tel.

PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU: 7,9%
CDS-PP: 6,3%

Aqui e aqui. As notícias são omissas sobre indecisos, pelo que talvez possamos presumir que o que falta aqui para 100% (8,2%) serão votos para outros partidos, brancos e nulos.

Mais sobre "empates técnicos" (só para nerds)

Um comentário de um leitor chamou-me imediatamente a atenção para que posso ter estado a induzir leitores em erro sobre a questão de quando é que a diferença entre dois partidos se pode dizer ser "estatisticamente significativa" numa sondagem. O que fiz aqui num post anterior foi usar a definição comum de "empate técnico" (sobreposição de intervalos ditados por margens de erro associadas a duas estimativas diferentes) e, aproveitando para ilustrar algumas aplicações erróneas do conceito de margem de erro (que ignoram a ideia de "margem de erro máxima" ou não tomam em conta a dimensão das sub-amostras de eleitores com reais intenções de voto), mostrar que, na base dessa definição, todas as sondagens para as europeias foram "empates técnicos" entre o PS e o PSD.

Mas importa notar que, se quisermos mesmo saber se as diferenças entre dois partidos numa sondagem são estatisticamente significativas com um determinado nível de confiança, a abordagem, sempre que haja mais do que duas opções de resposta, tem realmente de ser diferente (a abordagem que vou adoptar aqui não é a mesma, julgo, daquela que usou o comentador, mas a mensagem genérica é a mesma).

A margem de erro associada às diferenças entre as proporções dos partidos não é a mesma coisa que a margem de erro associada a cada proporção. Para isso, temos de calcular - desculpem o jargão - a variância da diferença entre duas proporções multinomiais. Eis a fórmula:


O caso concreto que dei foi o de converter as cinco sondagens numa única, em que 2477 respondentes teriam dado as suas intenções de voto numa única pergunta. Nesse caso, o PS teria 35,5% dessas intenções, e o PSD 33,3%. A margem de erro (com 95% de confiança) para a diferença entre o PS e o PSD equivale a:



Esse valor, com estes resultados e com um N de 2477, é de 3,27%. Por outras palavras: a diferença obtida na sondagem (2,2 pontos percentuais) é inferior à margem de erro para a diferença entre as estimativas (3,27). A diferença não está fora da margem de erro. Logo, aqui sim, "empate técnico" propriamente dito.

Já agora: se a dimensão da amostra, em vez de 2477, fosse de 5500 inquiridos, a margem de erro das diferenças seria 2,19%. Por outras palavras, a mesma diferença entre o PS e o PSD (2,2 pontos) já seria estatisticamente significativa.

Tudo isto está superiormente (como sempre) explicado aqui, que por sua vez o tirou do "clássico dos clássicos".

Uma impressão de campanha

Escreve aqui alguém que, ao contrário do que alguns possam imaginar, não percebe rigorosamente nada de campanhas políticas. Mas queria notar apenas, de forma meramente intuitiva, o contraste enorme entre a campanha do PS para estas europeias e a dos restantes partidos. Há na campanha do PS uma quase total "despersonalização". Os cartazes mostram figurantes contratados, falam de eventos históricos e só ao longe, estabatidas, estão as personalidades políticas, algumas delas sem relevância directa para os dias de hoje. Vital Moreira está ausente dos cartazes e parece, nas suas aparições públicas, uma pessoa algo diferente daquela que se conhecia de outras aparições noutros contextos. A ideia de meter Ana Gomes e Elisa Ferreira nas listas, se era para lhes dar visibilidade acrescida para as suas campanhas posteriores, não está a funcionar muito bem. Pelo contrário, BE, CDS-PP, PSD e até a CDU apresentam os seus candidatos, mesmo que alguns sejam completos desconhecidos. E nota-se um esforço do PS em remeter o seu discurso para questões "europeias", ao passo que os restantes partidos não passam sem uma ligação da Europa aos problemas nacionais, ou seja, àqueles que interessam aos eleitores.

Imagino que isto seja deliberado, pensado, eventualmente até testado com focus groups e sondagens. E daí talvez não. Talvez esta campanha do PS esteja a ser conduzida e organizada por pessoas sem competência para a função. Já sucedeu no passado com vários partidos, em várias eleições. E costuma ser um indicador interessante sobre a "saúde" de um partido, a sua coesão e motivação e o grau de isolamento da sua liderança. Dentro de poucas semanas, saberemos melhor.

segunda-feira, maio 25, 2009

Em 2004, foi assim

Um fenómeno muito conhecido e quase sempre repetido é que, à medida que nos vamos aproximando da data das eleições, os resultados das sondagens começam a convergir. Seja porque só no final as intenções dos eleitores começam a "cristalizar" seja porque as sondagens look over their shoulders, é isso que quase sempre sucede. Veremos o que sucederá na próxima semana. Mas em 2004, foi isso mesmo que sucedeu. O quadro mostra os resultados das sondagens divulgadas na última semana. Onde foram apresentados resultados com indecisos, tratei-os como abstencionistas, para tornar os resultados comparáveis entre si e com resultados de eleições. Como vemos, por essa altura, todas indicavam mais intenções de voto para o PS do que para a coligação PSD/CDS-PP, como veio a suceder. E as diferenças entre as sondagens são bem menores que aqueles que verificamos hoje nas sondagens realizadas até agora para as europeias de 2009.





Contudo, ao contrário do que veio a suceder um ano depois nas legislativas, permaneceram grandes variações quer na estimação das intenções de voto na coligação quer na votação da CDU. E todos indicaram mais intenções de voto no BE do que aquele que veio a ser o seu resultado (mesmo que as diferenças sejam insignificantes em dois casos). Por outras palavras, repetindo um padrão já conhecido, eleições com muito elevada abstenção tendem a produzir maiores discrepâncias entre as sondagens e os resultados eleitorais, assim como maiores discrepâncias das sondagens entre si. Intenções de voto recolhidas acabam por não se converter em comportamentos, e diferentes pressuposições sobre como tratar o fenómeno da abstenção e estimar o que poderá ser o "votante provável" acabam por fazer sentir os seus efeitos neste confronto entre sondagens realizadas a uma semana das eleições e os resultados. Logo, eu seria céptico sobre a possibilidade das próximas sondagens "resolverem" todas as dúvidas sobre o que poderá suceder dia 7, especialmente porque, desta vez, tudo o que vimos até ao momento sugere que a margem de vitória de seja quem for o vencedor será certamente menor.

"Empate técnico"

Noto alguma agitação na blogosfera (e não só) devido ao "empate técnico" entre o PS e o PSD declarado pelo Expresso a propósito da última sondagem da Eurosondagem sobre as europeias. Se bem entendo, o "empate" é declarado porque a diferença entre o PS e o PSD (2,2%) é igual à margem de erro declarada na ficha técnica (2,2%). "Vantagem do PS é de apenas 2,2%, o que equivale praticamente à margem de erro deste estudo de opinião", escreve-se no Expresso.

Minha nossa. Ora vamos lá outra vez:

1. A margem de erro anunciada na ficha técnica não é a margem de erro associada às estimativas para o PS ou para o PSD. Por duas razões. Primeiro, a dimensão da amostra na base da qual essas margens de erro têm de ser estimadas é inferior à dimensão da amostra geral na base da qual se apresenta calcula a margem de erro anunciada na ficha técnica. É inferior porque as percentagens são calculadas em relação a uma base que exclui indecisos e abstencionistas. Segundo, a margem de erro apresentada na ficha técnica é uma margem de erro máxima, presumindo amostragem aleatória e com uma confiança de 95%. Essa margem de erro máxima é a associada a uma estimativa de 50%. Quando as estimativas são superiores ou inferiores a 50%, a margem de erro é diferente (inferior).

2. Logo, se quisermos saber qual é o intervalo que cada sondagem está a estimar para cada estimativa - mais uma vez, presumindo amostragem aleatória e com 95% de confiança - não se trata de somar e subtrair 2,2% (ou seja lá o que a ficha técnica identifique como margem de erro máxima) a cada resultado, como muita gente costuma fazer. A margem de erro tem de ser calculada para cada caso, tendo em conta a sub-amostra em relação à qual as percentagens são calculadas e o valor concreto que está a ser estimado.

3. As notícias na imprensa nem sempre são claras quanto à dimensão dessa dita sub-amostra. Só lá se pode chegar por inferência, usando a informação sobre a dimensão da amostra geral, a percentagem daqueles que dizem que não votariam e a percentagem dos indecisos (normalmente tratados como abstencionistas quando se trata de redistribuir).

4. Se o fizermos, chegamos rapidamente à conclusão que todas as sondagens divulgadas até agora sobre as Europeias configuram um empate técnico entre o PS e o PSD, se por "empate técnico" entendermos intervalos que se sobrepõem para as estimativas dos dois partidos (presumindo amostragem aleatória e com 95% de confiança). A saber:

Marktest:
PS: 27,3-38,9
PSD: 27,1-38,7

Intercampus:
PS: 29,3-38,7
PSD: 28,8-38,2

CESOP:
PS: 34,5-43,5
PSD: 31,6-40,4

Aximage:
PS: 33,5-47,5
PSD: 27,3-40,7

Eurosondagem:
PS: 31,6-37,0
PSD: 29,4-34,8

Os intervalos são enormes? São: porque são tantos os que se declaram abstencionistas ou indecisos que a sub-amostra que sobra para estimar resultados é diminuta. E é assim que as coisas são, não há volta a dar-lhe. Só no planeta em que vive o deputado Marco António é que as "boas" sondagens têm toda a gente a dizer que vai votar e a saber perfeitamente em quem.

5. Se a isto somarmos que:
- as sondagens foram conduzidas em momentos diferentes;
- usam metodologias completamente diferentes e há muitas fontes de erro para além do erro aleatório amostral;
- estimam intenções de voto num momento, e não comportamentos no futuro;
- nenhuma amostra é verdadeiramente aleatória (tendo em conta recusas e impossibilidade de encontrar o inquirido que devia responder) e algumas não são aleatórias de todo (usando quotas);
- as margens de erro são estimadas com 95% de confiança (1 em cada 20 inquéritos vai produzir resultados fora da margem);
- as discrepâncias enormes entre os resultados das cinco sondagens...

ficamos com uma boa ideia da incerteza associada aos resultados do próximo dia 7.

6. Dito isto, atenção. Apesar de termos cinco "empates técnicos", as sondagens têm uma coisa em comum. O PS está à frente em todas. Podem estar todas erradas, claro. Mas que o PS tenha estado sempre à frente não é indiferente. Imaginem que, em vez de as tratamos com cinco sondagens diferentes, as tratamos com uma única sondagem, em que a sub-amostra dessa "super-sondagem" é a soma das sub-amostras das restantes (2477 inquiridos). Se o fizermos, o PS aparece com 35,5% e o PSD com 33,3%. Mas a margem de erro associada a ambos os casos é substancialmente menor, 1,88% para o PS e 1,86% para o PSD. Continua a ser "empate técnico", mas note-se, por exemplo, como o resultado máximo do PSD (35,1%) é inferior à estimativa pontual para o PS (35,5%). Mas as sondagens foram conduzidas em momentos diferentes, usam metodologias diferentes, etc, etc, etc. "Incerteza", sim, parece-me bem, para já.

terça-feira, maio 19, 2009

Progressão geométrica

Há dias, citei uma entrevista de Nuno Melo, do CDS-PP, concedida ao Correio da Manhã, onde falava de "variações de 100, 200 e de mais de 300 por cento" entre sondagens realizadas a um mês ou mais das eleições e os vieram a ser os resultados eleitorais do CDS-PP. Na entrevista de hoje ao Público, Nuno Melo clarifica o que queria dizer com "mais de 300 por cento":

"as diferenças de 800 por cento entre as sondagens e os resultados nas urnas acabaram por criar em mim uma imunidade a sondagens."

domingo, maio 17, 2009

Europeias. Aximage, 5-7 Maio, N=600, Tel.

Antes de redistribuição de indecisos:
PS: 38,5%
PSD: 32,3%
BE: 9,2%
PCP: 8,7%
CDS-PP: 5,6%
OBN: 0,7%
Indecisos: 5,0%

Após redistribuição (proporcional) de indecisos:
PS: 40,5%
PSD: 34,0%
BE: 9,7%
PCP: 9,2%
CDS-PP: 5,9%
OBN: 0,7%

São assim quatro as sondagens divulgadas até ao momento sobre as Europeias:

Correcção no método

Quase duas semanas depois de o CDS-PP ter anunciado, em conferência de imprensa, que iria "apresentar uma queixa junto da Entidade Reguladora da Comunicação Social sobre a última sondagem da Universidade Católica, considerando que 'ou há erro ou má-fé'", Nuno Melo, cabeça de lista do CDS-PP às Europeias, afirma hoje em entrevista ao Correio da Manhã que "nem quer que lhe passe pela cabeça" que haja "alguma intenção" por detrás dos resultados da sondagem. Não acredita "que haja reserva mental vindo de onde vem". O que verifica é que a Católica "nunca acerta"e que há "variações de 100, 200 e de mais de 300 por cento" (sic). "Exigia-se correcção no método.", afirma. "As previsões [sic] completamente irrealistas em relação ao CDS mantém-se numa lógica perversa num Estado de direito e numa democracia porque não andamos a brincar às sondagens e isto pode ter um efeito desmobilizador. E ataca um partido que é fundador da democracia portuguesa."

E a queixa na ERC: já terá dado entrada?

sexta-feira, maio 15, 2009

"Portugal: uma democracia em construção"

A Imprensa de Ciências Sociais acaba de editar um livro de homenagem a David Goldey, com o mesmo título deste post. Um dos capítulos é particularmente tentador, e por isso é o único que li até ao momento (para além daquele de que sou co-autor, naturalmente): "To boldly go where no man has ever gone before. As decisões do Presidente Sampaio de Julho e Dezembro de 2004", por Fernando Marques da Costa, antigo assessor do Presidente da República. Vale mesmo a pena, independentemente do que ficarmos a achar no final da leitura.

Legislativas. Aximage, 5-7 Maio, N=600, Tel.

Resultados brutos:

PS:37,3% (38,1%)
PSD:26,7% (25,1%)
BE:12,6% (12,6%)
CDU:8,5% (10,3%)
CDS:5,2% (5,7%)
OBN+Indecisos: 9,7% (8,1%)

Na base desta notícia, não é possível apresentar os resultados como se fossem resultados eleitorais, dado que os valores para "indecisos" e "outros, brancos e nulos" não são apresentados. Mas talvez a edição em papel amanhã tenha esta informação.

Ignorando essa questão, e se nos concentramos apenas nas tendências, temos que, nas últimas quatro sondagens divulgadas sobre legislativas:

- PS desce em 3, mantém numa.
- PSD sobe em 3, desce numa.
- BE sobe em 3, mantém numa.
- CDU desce em 3, sobe numa.
- CDS-PP desce nas quatro.

Atenção, contudo, que os pontos de comparação temporais não são sempre os mesmos: mensal para Marktest, Aximage e Eurosondagem, trimestral para CESOP/UCP.

segunda-feira, maio 11, 2009

Broken Windows

A propósito do editorial do director do "i" e desta resposta de João Gonçalves, impora notar que, como em tudo o que sucede nos Estados Unidos, há quilómetros de estantes sobre o assunto. Alguns dos trabalhos em revistas peer-reviewed mais recentes e/ou mais citados:

Broken windows: New evidence from New York City and a five-city social experiment- "evidence (..) provides no support for a simple first-order disorder-crime relationship as hypothesized by Wilson and Keller."

Carrots, Sticks, and Broken Windows - "it is important to emphasize that arrests for felonies have the largest effect on felony crimes and that the effects of broken-windows policing, although significant for some crimes, are not universally significant, nor are they of great magnitude."

The irony of broken windows policing: A micro-place study of the relationship between disorder, focused police crackdowns and fear of crime: "This study provided evidence for the broken windows policing hypothesis that disorder leads to fear of crime. Examining fear of crime among citizens at a micro-place unit of analysis revealed that higher levels of both perceived social disorder and observed physical disorder led to significantly higher levels of fear of crime. For those advocating broken windows policing approaches, however, the data also suggest reason for caution. Those living in an area that received the extra police presence (controlling for other factors in the model) also reported higher levels of fear."

E dois estudos que interpretam os mesmos dados chegando a conclusões diferentes. O primeiro é o mais citado de sempre sobre o tema:

Systematic social observation of public spaces: A new look at disorder in urban neighborhoods:
"observed disorder did not match the theoretical expectations set up by the main thesis of “broken windows” (Wilson and Kelling 1982; Kelling and Coles 1996). Disorder is a moderate correlate of predatory crime, and it varies consistently with antecedent neighborhood characteristics. Once these characteristics were taken into account, however, the connection between disorder and crime vanished in 4 out of 5 tests—including homicide, arguably our best measure of violence."


Spuriousness or mediation? Broken windows according to Sampson and Raudenbush (1999): "In sum, Wilson and Kelling's broken windows theory argues that disorder causes social withdrawal and low informal social control, which in turn causes crime. Sampson and Raudenbush, 1999 interpreted their own results as not supporting the broken windows theory because disorder did not have a direct effect on crime after controlling for collective efficacy. The problem with this interpretation is that the broken windows theory never argued that disorder had a direct unmediated effect on crime. According to the broken windows theory, disorder undermines informal social control, which in turn leads to an increase in crime. This is the core premise of the broken windows theory, a premise that Sampson and Raudenbush's results did not contradict."

E uma última frase neste último artigo que diz tudo:

"While debate in the popular press continues, academics are pushing forward in their attempts to understand the link between disorder and crime. Several articles have been published in recent years showing empirical evidence both in support of and against the broken windows theory (...) Thus far, no final consensus has been reached."

Era fácil se fosse só as broken windows, não era?

P.S. - Só para dizer que, não sendo especialista do assunto, até simpatizo com a tese. Mas os resultados das experiências dos psicólogos sociais, como acontece tantas vezes, não são fáceis de replicar e comprovar quando se sai de ambientes mais artificiais e se tenta generalizar...

P.P.S - Enviada por um leitor, uma referência adicional de Steven Levitt, tornada famosa devido ao argumento sobre os efeitos de Roe vs. Wade na criminalidade: Understanding Why Crime Fell in the 1990s.

"Manipulação infernal"

É o título de um artigo de Miguel Roquette, Vice-Presidente da Comissão Política da distrital de Setúbal do CDS-PP, publicado no Setúbal na Rede. Pode ser lido na íntegra aqui. Dois excertos:

"A Universidade Católica Portuguesa – através do Centro de Estudos e Sondagens de Opiniões (CESOP), tem demonstrado uma incompetência e uma desonestidade que escandaliza qualquer pessoa minimamente bem formada. Esta atitude, já com longos anos de prática demonstra como a igreja católica portuguesa e a sua componente científica troca conscientemente os mandamentos de Deus, por interesses materiais e de grupos apoiados na manipulação da verdade. Como católico, fico profundamente chocado quando o vício do pecado se torna banal ao ponto de ser exibido com naturalidade em público. "

"Manipular a verdade é próprio das pessoas de mau carácter, pactuar com situações destas é um exemplo de que a comunicação social é pobre do ponto de vista jornalístico, no mínimo passiva, mas a igreja ao mais alto nível apoiar valores contrários aos sagrados princípios demonstra a fraqueza humana."

sábado, maio 09, 2009

Europeias. Marktest, 14-19 Abril, N=803, Tel.

PS: 33,1%
PSD: 32,9%
BE: 8,4%
CDU: 7,6%
CDS-PP: 4,5%
Brancos/Nulos: 13,5%

O total disto é 100%, pelo que presumo que ninguém na amostra indicou intenção de voto noutros partidos. A notícia no Semanário Económico indica igualmente que, em relação à totalidade da amostra, 50,7% afirmaram não saber em quem votariam ou não respondem.

Uma nota final para assinalar que, do ponto de vista do trabalho de campo, esta foi de facto a primeira sondagem, das três já divulgadas, a ser conduzida.

sexta-feira, maio 08, 2009

Sondagens e democracia

Há sempre uma grande discussão sobre o papel das sondagens na democracia. Há quem aponte consequências negativas. Num post que escrevi há uns anos, assinalei - por interposta pessoa - uma delas: um efeito negativo na forma como se cobre noticiosamente a actividade política. Mas também já citei aqui, há menos tempo, uma conferência do Stanley Greenberg onde ele explica como, se bem com dúvidas e hesitações, acabou por concluir por um saldo positivo: conhecer o que os cidadãos preferem pode ajudar a fazer com que os líderes políticos "respeitem as pessoas, respondam aos seus interesses e torná-los, em última análise, susceptíveis de serem politicamente responsabilizados."

Por estes dias, passa-se algo que me faz lembrar estas palavras de Greenberg. Ao abrigo do novo Estatuto dos Açores, a Assembleia Legislativa Regional prepara-se para legalizar a "Sorte de Varas" em toda a região, ou seja, se bem percebo - não sou nada entendido - as corridas de touros com picadores. O tema tem sido controverso nos Açores mas - digo isto à distância, talvez esteja errado - não parece ser suficientemente importante para poder ditar o resultado de futuras eleições. Em circunstâncias destas, os agentes políticos têm incentivos para acederem à vontade de interesses particularistas, que até podem ser partilhados por muito pouca gente mas estão bem organizados e dão grande importância a um determinado tema. Neste caso, os membros da Tertúlia Tauromáquica Terceirense.

Mas o que pensa a generalidade dos açorianos de tudo isto? A verdade é que não se sabe. É até possível que a maioria esteja a favor ou seja indiferente. É certo que, na Assembleia Legislativa dos Açores entraram, se não erro, 406 petições sobre o assunto, 17 a favor da Sorte de Varas e 389 contra. Mas não é absolutamente garantido que isto reflicta a distribuição das preferências dos açorianos. Houve uma sondagem online, com resultados muito desfavoráveis, mas amostras voluntárias em sites de internet não dão garantias se sequer se aproximarem de uma boa imagem das opiniões do universo dos açorianos.

Logo, o ideal seria, claro, um referendo regional. Num artigo já com uns anos, o economista político Bruno Frey explica uma das vantagens dos referendos. Os políticos podem formar coligações contra os eleitores, impedindo a entrada de certos temas na agenda política e impondo outros. Especialmente se houver possibilidade dos cidadãos proporem iniciativas de referendo, os referendos retiram o monopólio no controlo da agenda política aos políticos e revelam as preferências dos eleitores em temas nos quais os políticos prefeririam que elas não fossem conhecidas (presumindo, claro, que não se utilizariam o tipo de regras de quórum de aprovação ou participação que distorcem os resultados). Infelizmente, nos Açores, se não estou em erro, só a Assembleia Legislativa pode apresentar propostas de referendo regional. Logo, o instrumento que poderia quebrar uma coligação da classe política contra os eleitores está nas mãos da...classe política.

O que sobra? Sondagens. É pena que só sobre isto. Mas elas poderiam ajudar a confirmar se, de facto, a maioria dos açorianos apoia ou é indiferente a esta proposta ou se, pelo contrário, é contra. O facto de não se planear um referendo nem haver vislumbre de sondagens sobre o assunto consente supor, infelizmente, que deverá ser a segunda hipótese a verdadeira.

Corredor do Poder

No site da RTP, vale a pena ver a emissão de ontem do programa "Corredor do Poder", onde Marco António, presidente da distrital do Porto do PSD, e Nuno Melo, líder parlamentar do CDS-PP e cabeça de lista às eleições europeias, fazem diversas considerações metodológicas sobre as sondagens do CESOP/Universidade Católica.

Legislativas. Eurosondagem, 30 Abril-5 Maio, N=1021, Tel.

PS: 38,8% (39,6%)
PSD: 30,5% (29,6%)
BE: 9,8% (9,6%)
CDU: 9,2% (9,4%)
CDS-PP: 6,9% (7,0%)
OBN: 4,8% (4,8%)

Aqui.

quinta-feira, maio 07, 2009

Mais Espanha

Barómetro de Abril do Centro de Investigaciones Sociológicas mostra, tal como em Março passado, PSOE e PP praticamente empatados nas estimativas de resultados eleitorais: 40,8% PSOE vs. 40% PP. Zapatero avaliado negativamente mas, mesmo assim, o menos mal avaliado de todos os líderes partidários. Cada vez pior a avaliação da actuação do governo e da oposição. Em suma, as notícias são cada vez melhores para ela, que já é a segunda figura política mais popular em Espanha.Tudo isto e mais aqui.

Estímulos

Receio que a resposta a essa pergunta possa ser excessivamente influenciada pela natureza dos estímulos visuais facultados ao inquirido.

quarta-feira, maio 06, 2009

Espanha

A sondagem mais recente sobre as europeias, encomendada pelo próprio PSOE, dá ao PP uma vantagem de 1 a 2 deputados. Curiosamente, o modelo de previsão de Hix e Marsh não anda longe, prevendo a derrota do PSOE. As sondagens para as legislativas estão a dar resultados semelhantes: 2,4 pontos de vantagem para o PP aqui, 1,2 pontos aqui.

Factos

É o meu último post sobre este assunto.

Num post abaixo, escrevi que o deputado António Carlos Monteiro tinha afirmado na RTP-N que, nas últimas regionais dos Açores, o CDS-PP tinha tido o dobro dos votos que aquilo que uma sondagem da Católica previa. Contestei essa afirmação, mostrando que o CESOP não tinha conduzido nenhuma sondagem pré-eleitoral nessa eleição e mostrando os resultados da única sondagem que a Católica tinha feito para essa eleição, uma sondagem à boca das urnas divulgada pela RTP no fecho das urnas.

Num comentário a esse post, entre outras considerações, António Sousa Monteiro desmente ter dito aquilo que eu afirmei que ele disse. Escreve, nomeadamente, o seguinte:

"Aconselho-o também a ser mais cuidadoso nas afirmações que faz e quando imputa aos outros mentiras ou invenções. Tive o cuidado de ouvir novamente tudo o que disse no programa em causa: desvalorizei todas as sondagens porque subavaliavam em regra o CDS-PP, chamei à atenção para que os resultados nos Açores tinham penalizado o centrão e o CDS tinha tido o dobro do previsto, sem nunca ter mencionado o nome da Católica (aliás a Universidade onde tirei o curso e que lamento ver o nome associado a estas sondagens).Vá verificar tudo o que eu disse e veja se sou eu ou o Pedro Magalhães quem inventou ou mentiu? Terá sido por enfiar a carapuça?"

Segui o conselho do senhor deputado. Passo assim à transcrição das afirmações de António Sousa Monteiro no programa Pontos de Vista, emitido pela RTP-N no dia 2 de Maio:

"Eu só diria o seguinte. Se até já o PCP se queixa das sondagens, então o que é que o CDS pode fazer. Aliás, nos Açores - e as sondagens que foram feitas para o acto eleitoral dos Açores demonstraram que o CDS valia muito mais do que aquilo que aparecia nas sondagens. Aliás, nos Açores, teve o dobro daquilo que a vossa sondagem na RTP previa."

A não ser que o deputado Sousa Monteiro - mesmo após ter ido comentar uma sondagem da Católica para a RTP e depois de ter tido "o cuidado de ouvir novamente tudo o que disse" - ainda não tenha descortinado que é a Universidade Católica que faz as sondagens para a RTP, teremos então de concluir que os factos contrariam não apenas a sua primeira afirmação - a da existência da tal sondagem - mas também a segunda - a de que não afirmou aquilo que eu disse que ele afirmou. O vídeo está disponível aqui, no site da RTP. A transcrição refere-se a um trecho que ocorre quando o relógio no canto superior direito marca 1:44.

Late deciders

Independentemente da controvérsia sobre as sondagens, suas alegadas manipulações e coisas do género, há uma questão substantiva de interesse por detrás de tudo disto. Será que os eleitores que tomam as suas decisões mais tarde fazem opções diferentes daqueles que decidem mais cedo?

Felizmente, não é completamente impossível responder a essa questão. No inquérito pós-eleitoral de 2005 realizado no âmbito do programa de investigação do ICS "Comportamento Eleitoral dos Portugueses", coordenado por António Barreto, três questões são relevantes para este efeito. Uma consistiu em perguntar aos eleitores recenseados do Continente se votaram. A outra, e aos que disseram que sim, como votaram. E a terceira, quando decidiram como iriam votar. A última pergunta apresentou os eleitores que afirmaram ter votado perante várias opções: decidiram no próprio dia; na véspera; na semana antes das eleições; no mês antes das eleições; ou antes disso.

Se agregarmos as respostas a esta terceira pergunta em dois grupos - mais de um mês antes das eleições e durante o mês que precedeu as eleições, os inquiridos que afirmam ter votado na eleição repartem-se da seguinte forma: 63,9% afirma ter decido como votar a mais de um mês antes; 33,6% que terá decidido no mês que precedeu a eleição; e 2,5% que afirmaram não saber ou optaram por não responder. Sabemos se foi realmente assim? Não sabemos. Sabemos apenas aquilo que nos dizem. É o que há.

Mas o que acontece quando comparamos a recordação de voto dos dois maiores grupos anteriores? Isto:


De acordo com as suas próprias declarações num inquérito eleitoral, aqueles que decidiram a mais de um mês não se distribuíram da mesma forma que aqueles que dizem ter decidido mais tarde. Neste segundo grupo, o CDS-PP e o BE recolheram mais opções que entre o primeiro grupo. Pelo contrário, PS, PSD e CDU perdem peso entre os late deciders.

O mais curioso é que as sondagens feitas a mais de um mês e a menos de um mês das eleições reflectem, no seu conjunto (o que tenderia a eliminar erros aleatórios causados pelo facto de se estarem a usar amostras) esta tendência (fonte: aqui e aqui). Começo no dia 2 de Dezembro, data da primeira sondagem de que disponho. São 8 entre o dia 2 e o dia 20, e 17 sondagens depois do dia 20.



A segunda coluna deste segundo quadro não pode ser comparada com a segunda coluna do quadro anterior, dado que, nele, nos concentramos apenas nos que decidiram a menos de um mês. Mas notem-se as tendências: no PS e no PSD, que recolheram menos opções entre os eleitores que decidiram mais tarde, as sondagens, em média, indicam descida. No CDS-PP e no BE, pelo contrário, as sondagens captaram subida. A única anomalia é a CDU, que subiu, em média, nas sondagens, quando os eleitores que dizem ter decidido no último mês se afastam, proporcionalmente, mais da CDU do que os que decidiram antes. Mas em geral, isto mostra que a distância a que se faz uma sondagem de uma eleição pode contar, porque os eleitores que decidem mais cedo não se repartem necessariamente da mesma forma que os que decidem mais tarde, que representam, como vimos, uma parcela muito considerável dos votantes. Mesmo numa eleição que, em geral, mostrou excepcionalmente baixos efeitos de campanha. Até neste caso, 20,8% dos eleitores afirmaram ter decido na última semana. Imaginem noutros actos eleitorais onde esse efeitos foram muito maiores e não lineares, como este ou este.

segunda-feira, maio 04, 2009

CDS-PP queixa-se de sondagem à ERC

O porta-voz do CDS-PP, Pedro Mota Soares, anunciou esta segunda-feira que vai apresentar uma queixa junto da Entidade Reguladora da Comunicação Social sobre a última sondagem da Universidade Católica, considerando que «ou há erro ou má-fé», avança a Lusa.

Colecção

Agora este. Erra quando diz que as sondagens sistematicamente têm falhado o voto do CDS-PP. Também erra quando diz que não se explica claramente como se passa das intenções directas de voto para as estimativas.

O CDS-PP e as sondagens

Eu sei que os partidos e aqueles que com eles simpatizam têm de reagir de qualquer forma a sondagens que pareçam desfavoráveis. Têm de as desvalorizar, especialmente para fins de consumo interno, de forma a aquietar a oposição dentro do partido e não deixar os apoiantes esmorecerem. Tudo isso é perfeitamente compreensível e não costumo comentar. Cada macaco no seu galho.

O problema, contudo, é quando se fazem afirmações que colidem, de forma comprovável, com a realidade. Essas, lamento, não posso deixar passar. Já mencionei um deputado do CDS-PP que imaginou uma sondagem inexistente do CESOP. E agora, quer em comentários abaixo quer em num post de Paulo Pinto Mascarenhas, aparece a ideia de que "a Católica costuma falhar redondamente nas previsões sobre o CDS."

Sugiro que dêem uma vista de olhos no quadro abaixo. Contém, para as eleições mais recentes em que o PP concorreu sozinho e para as quais o CESOP fez sondagens, assim como para todas as legislativas e europeias com as mesmas características:

- as estimativas para o CDS-PP da última sondagem publicada pelo CESOP antes das eleições;
- a média dos resultados das restantes sondagens;
- o resultado do CDS-PP nas eleições;
- o confronto entre as estimativas do CESOP e a média das restantes sondagens com os resultados reais;
- o erro amostral associado às estimativas feitas pelo CESOP para o CDS-PP, tendo em conta a dimensão da amostra e pressupondo aleatoriedade;
- se a estimativa ficou, no confronto com o resultado, dentro do erro amostral.


Quem queira olhar para isto, verificará o seguinte:

1. Em nove eleições consideradas, a estimativa do CESOP esteve cinco vezes abaixo do resultado que o CDS-PP acabou por ter, e quatro vezes acima desse resultado.
2. Em quatro desses cinco vezes que subestimou o resultado do CDS-PP, o CESOP subestimou-o menos que a média das restantes sondagens realizadas para as mesmas eleições.
3. Em duas dessas cinco vezes, a estimativa do CESOP ficou dentro dos limites do erro amostral.

Quer isto dizer que está tudo óptimo para mim? Não. Há quatro dos nove casos que me aborrecem: as legislativas de 2002 e as Europeias de 1999, em que apesar de termos subestimado o CDS-PP menos do que a média das restantes sondagens, as estimativas ficaram fora do erro amostral; Lisboa 2005, em que sobrestimámos a votação no CDS-PP (pouco) mais do que admissível pelo erro amostral ; e as legislativas de 2005, em que subestimámos o CDS-PP mais do que a média das restantes sondagens e fora do erro amostral.

Dito isto, espero que tenha ficado claro que a afirmação "a Católica costuma falhar redondamente nas previsões sobre o CDS" é falsa. Não tem outra classificação possível. Primeiro, porque a Católica não costuma "falhar redondamente" nas "previsões" sobre o CDS. Segundo, porque quando a Católica subestimou o CDS-PP, subestimou-o quase sempre menos que a média das restantes sondagens. Isto não impede que reflictamos sobre a possibilidade de que haja um problema geral na estimação dos votos no CDS-PP, como tive a oportunidade a de discutir aqui há uns anos neste mesmo blogue. Mas isso não autoriza a afirmação citada.

O post aqui fica, como registo, e para aqui farei ligação quando voltar a ouvir o "lapso" (vamos designá-lo com benevolência) do costume. Da maior parte das pessoas que agitam esta ideia, que espero ter mostrado ser comprovadamente falsa, não espero que venham agora a público corrigir as suas afirmações. A não ser de um: Paulo Pinto de Mascarenhas. É o único caso em que vou ficar desapontado se aguardar em vão.
P.S. Diogo Belford Henriques faz várias perguntas sobre este assunto. Primeiro, quer saber os resultados das sondagens do CESOP vários meses antes das eleições de 2002 e 2005. Com todo o gosto. Em ambos os casos, os resultados confirmam a ideia de "late surge" (mas falamos apenas de duas eleições, e ver ponto 4 deste post). Em 2002, as duas sondagens imediatamente anteriores à última davam, respectivamente, 3% e 5%. Em Novembro de 2004, 3%.
Duas notas sobre isto. Primeiro, não tenho dados destes sobre as outras sondagens, pelo que não posso contextualizar isto. Também se passou o mesmo nas outras? Não sei. Segundo, não, este facto não sugere que se deva rever o "método da estimativa". A meses das eleições, quem faz sondagens quer medir intenções e, para além disso, apresentar os resultados de forma comparável aos de uma eleição para esclarecimento dos eleitores. Não quer e não deve "forçar" os resultados para que uma sondagem feita a meses das eleições dê supostamente os resultados que vão ocorrer meses depois, especialmente (ver mais abaixo) quando não faz a mínima ideia sobre como o poderia fazer. Claro que a dias das eleições também quer fazer o mesmo. Mas a diferença é crucial: a dias das eleições, há boas razões para supor que sondagens feitas exactamente ao mesmo tempo hão-de ser afectadas (ou não) pelas mesmas mudanças do eleitorado quando se trata de comparar as suas estimativas com resultados eleitorais. E boas razões para supor que, a dias das eleições, as mudanças que ocorram não serão tão dramáticas como as que podem ocorrer a meses ou mesmo semanas de distância. Daí que, nessas, faça sentido compará-las com resultados eleitorais, exigir-lhes precisão e indagar sobre razões que podem aumentar ou diminuir essa precisão. Nas outras, estas questões não se podem colocar da mesma forma, como o próprio Diogo reconhece.
Em segundo lugar, DBH quer conhecer as freguesias. Mando-lhas por e-mail.
Finalmente, permanece uma confusão que parece resistir a qualquer explicação, mas lá vai outra tentativa. Quando afirma que há um "padrão de subvalorização do resultado de um partido por um método de sondagem" e que "o normal seria questionar o método", DBH ignora o quadro que diz ter lido com júbilo: é que não se descortina um padrão de subvalorização do resultado do partido por razões metodológicas. Há sondagens onde o CDS é subestimado pela generalidade das sondagens, outras onde é sobrestimado. Casos onde sondagens presenciais (como a do CESOP) sobestimaram o CDS e outros onde o subestimaram. Casos onde sondagens telefónicas fizeram uma coisa ou outra. Etc, etc, etc. Eu gostava de saber o que está por detrás destes padrões, mas a não ser que me esteja a escapar algo, são erráticos.
As únicas coisas claras são:
1. Há mais casos onde as sondagens subestimaram o CDS-PP do que casos em que o tenham sobrestimado. É sobre isto que falava no post citado por DBH. Desconheço as razões. E como desconheço, não posso, nem ninguém em seu perfeito juízo pode, fazer correcções ad hoc para um fenómeno que é, de resto, muito menos frequente do que DBH sugere.
2. Quando há subestimação, o CESOP subestima quase sempre menos que a média das restantes,e várias vezes o faz dentro do erro amostral (ou seja, não se pode falar, nesse caso, de qualquer tipo de subestimação "real"). É isto, de resto, que mais me aborrece na leviandade dos comentários feitos por algumas pessoas do CDS-PP.
Repito: compreendo perfeitamente a frustração de alguém que trabalha num partido e se vê perante uma sondagem desfavorável. Mas o máximo que se pode pedir a quem faz sondagens é que use os melhores métodos que conhece para dizer ao público quais são as intenções de voto do eleitorado e outras opiniões prevalecentes num dado momento. Não se pode exigir que responda às frustrações dos partidos introduzindo correcções cegas e inadequadas em face de um track record passado e que não fornece suficiente informação, nem que queira, com sondagens, prever os resultados de uma eleição a um mês ou mais de distância.
E já agora, de outro ponto de vista: para quê tanto dramatismo? Se há sinais de que pode ter existido um late surge nas duas legislativas mais recentes é porque uma mera sondagem não teve os efeitos tão bombásticos que DBH lhe atribui. Ao dramatizarem agora este assunto e ao chamarem a atenção para ele, por vezes de forma tão evidentemente incorrecta e manipulativa (não é o caso do seu post, que agradeço), não estarão algumas pessoas do CDS-PP a criar precisamente aquilo que gostariam de evitar?
Desculpem a resposta tão longa. Sobre isto, estou convencido que não há mais a dizer da minha parte.

Europeias e legislativas.

Num comentário a um post abaixo, uma questão muito interessante. "Não é estranho que o resultado da sondagem CESOP para as legislativas seja tão parecido com o resultado das europeias?"

A minha primeira reacção, automática, quando olhei para os resultados pela primeira vez, foi pensar que sim. Fiquei a matutar nas razões. Por um lado, como vimos, são raros os eleitores que conhecem os cabeças de lista ou a data das eleições. É perfeitamente possível que, nesta fase, estejam a responder à pergunta das europeias da mesma forma que responderiam a uma pergunta sobre legislativas. Isto pode vir a dissipar-se com o tempo, à medida que a eleição se tornar mais "sobre as europeias" ou, pelo menos, sobre os cabeças de lista. Acresce a isto que as duas perguntas foram feitas no mesmo inquérito às mesmas pessoas. Houve uma separação clara entre elas, e a pergunta sobre as europeias foi prececida de uma série de estímulos específicos sobre essas eleições. Mas não se pode excluir a possibilidade de "contaminação".

Mas depois lembrei-me de que esta eleição europeia é atípica, no sentido em que se dá no final do ciclo eleitoral das legislativas. Já se sabe que isso costuma implicar uma punição menor para os grandes partidos em geral e para o governo em particular. Em Portugal é também assim, pelo menos a julgar pelo único caso em que as europeias precederam as legislativas por poucos meses, em 1999. E quais foram os resultados nessas duas eleições?

Europeias, Junho de 1999:
PS: 43,1%
PSD: 31,1%
PCP-PEV: 10,3%
CDS-PP: 8,2%
BE: 1,8%

Legislativas, Outubro de 1999:
PS: 44,1%
PSD: 32,3%
PCP-PEV: 9,0%
CDS-PP: 8,3%
BE: 2,4%

Olhando para isto, e mesmo (ou especialmente) tendo em conta que os níveis de participação eleitoral foram muito diferentes (61% nas legislativas, 40% nas europeias), a minha preocupação agora é que os resultados das sondagens possam não ter sido suficientemente semelhantes...

Legislativas. CESOP/Católica, 25-26 Abril, N=1244, Presencial.

PS: 41%
PSD: 34%
BE: 12%
CDU: 7%
CDS-PP: 2%
OBN: 4%

Mais detalhes aqui.

Em grande medida, esta sondagem CESOP/Católica mostra continuidades com o estudo anterior (de Dezembro passado) e com outras sondagens de outros institutos. O PS continua a ser o partido com mais intenções de voto, como em todas as sondagens de todos os institutos realizadas desde, pelo menos, Novembro de 2005. Da mesma forma, está aquém da maioria absoluta, como em quase todos os estudos divulgados desde o "caso da licenciatura". O Bloco de Esquerda, que nos dois estudos anteriores do CESOP estava praticamente empatado com a CDU, passa-lhe desta vez à frente, na linha das outras sondagens entretanto divulgadas. Francisco Louçã continua a ser o líder partidário avaliado mais favoravelmente pelos eleitores, ao passo que José Sócrates continua em terreno negativo. A avaliação que é feita do governo pela maioria dos eleitores - e não apenas pelos votantes prováveis - continua também negativa: 61% classificam-no como "mau" ou "muito mau", contra 60% no estudo de Dezembro. E da mesma forma, a maioria (54%, contra 56% em Dezembro passado) continua a achar que nenhum partido da oposição faria melhor que o actual governo se estivesse no poder. Até a votação no CDS-PP, que nas últimas sondagens do CESOP tem aparecido com valores particularmente baixos, não foge àquilo que a tem caracterizado nos últimos meses: uma enorme instabilidade. Em todas as sondagens feitas desde Outubro, mesmo retirando as do CESOP, o CDS tem obtido valores que oscilam entre os 4% e os 10%.

Dito isto, estes resultados suscitam uma questão interessante. Uma das tendências do conjunto de todas as sondagens conduzidas por todos os institutos desde 2005 é a de uma aparente diminuição da bipartidarização do sistema, expressa na soma de votos do PS e do PSD. Nas eleições de 2005, PS e PSD obtiveram, em conjunto, 74% dos votos. Mas se olharmos para todas as sondagens conduzidas nos últimos seis meses, são raros os casos em que essa soma correspondeu a mais de 70%. Este estudo, contudo, recoloca a soma dos dois partidos em 75%, dada a subida do PSD em quatro pontos percentuais desde Dezembro. Várias hipóteses se levantam aqui. A primeira, que não podemos excluir, é que esta sondagem não esteja a captar, por razões metodológicas difíceis de inventariar ou por mero erro amostral, essa real queda do Bloco Central. A segunda é que, pelo contrário, a queda do Bloco Central tenha sido algo sobrestimada por outras sondagens. A verdade é que as sondagens do CESOP nunca apontaram para perdas tão drásticas como as de outros institutos (o valor mais baixo desde 2005 foi, precisamente, o de Dezembro passado, 71%). E a terceira, mais interessante, é que a aproximação das eleições esteja agora a reconduzir eleitores aos principais partidos - especialmente ao PSD - , motivados, entre outras coisas, por considerações de natureza estratégica (ou seja, pelo "voto útil"). Teremos de esperar por mais estudos (ou pelas próprias eleições) para percebermos qual delas (se alguma) é a mais plausível.

(comentário publicado também em versão abreviada no DN; o título foi atribuído pelo jornal)

sábado, maio 02, 2009

Dois a mais

Um senhor chamado António Carlos Monteiro, que parece que é deputado e já foi Presidente do Conselho de Administração da EMEL, "vereador a meio tempo na CML" e "docente na Universidade Moderna" (ena) esteve há momentos na RTP-N a dizer que, nas últimas regionais dos Açores, o CDS-PP teve o dobro dos votos que aquilo que uma sondagem da Católica previa. Para quem estiver a ver, queria só informar que não faço ideia do que está este senhor a falar. Por um lado, o CESOP/Católica não conduziu qualquer sondagem antes do dia das eleições nos Açores. Por outro lado, na sondagem à boca das urnas, o CESOP estimou que o CDS-PP teria um valor entre 7 e 9 por cento. Teve 8,7%. No Twitter, há outra pessoa - ou será a mesma - que acha que uma mentira repetida muitas vezes se torna verdade.

Ainda bem que eu sei que o CDS-PP não é só isto. Caso contrário, ficaria a pensar que 2% de votos eram dois a mais.

Sondagens, esta e as outras

No post abaixo, há perguntas e respostas. Quero apenas esclarecer dúvidas, mas é inevitável que, perante certos comentários, passe à defensiva (ou, como neste caso mais infeliz, mais à ofensiva). Mas não deixem que o facto de estar a explicar (e num certo sentido, claro, "defender") a sondagem faça com que percam a bola de vista. E a bola, para esta sondagem como para todas as outras, é esta:

1. Uma sondagem é só uma sondagem. Precisamos de mais para perceber se o que aqui aparece estará a captar algo real ou será fruto de erro aleatório ou outro problema qualquer. Os resultados do PS e do PSD parecem-me muito congruentes com o que ando a dizer sobre isto há algum tempo. Mas claro que estou surpreendido com os resultados da CDU e do CDS-PP. Surpreendido, mas não disposto a trocar estes resultados por "intuições" ou outras "crenças".

2. Esta sondagem, apesar de, do ponto de vista temporal, estar a uma distância curta das eleições, está, pelos vistos, para os eleitores, a uma distância mental imensa. Quando mais de 80% das pessoas recenseadas não sabem que são os cabeças de lista do PS ou do PSD, e quando mesmo entre os simpatizantes de cada partido, os valores são superiores a 70%, isto significa que há muito muito caminho para percorrer.