Esta sondagem, apesar de divulgada depois da sondagem Marktest, foi realizada uns dias antes. Contudo, quase nada diz de diferente da sondagem divulgada ontem.
Sobre a ideia de que há um eleitorado de esquerda "escondido", defendida ontem por Medeiros Ferreira em entrevista radiofónica (e aqui), ideia essa criticada aqui, quatro notas:
1. Ao contrário do que me pareceu que sugeria ontem Medeiros Ferreira, nunca foi detectada qualquer tendência para que as sondagens subrepresentem sistematicamente o "eleitorado de esquerda". Aliás, se houve subrepresentações sistemáticas no passado, foram sim quer do eleitorado do CDS-PP quer do eleitorado do PCP. E hoje não é claro se persiste algum enviesamento sistemático contra qualquer partido ou eleitorado ideologicamente definido. Uma ou outra eleição isoladas não servem para tirar conclusões.
2. Contudo, dando-lhe alguma razão, eu diria que é altamente presumível que, neste momento e para estas eleições concretas, muitos eleitores de "esquerda" não tenham ainda, pura e simplesmente, decidido o que vão fazer, em face da multiplicação de candidatos, dos sinais confusos e contraditórios emanados inicialmente pelo Partido Socialista, da insatisfação de algum eleitorado PS com a actuação do governo, etc. É possível, e provável, que muitos desses indecisos se venham a abster, mas certamente muitos deles irão também acabar por votar num dos candidatos de esquerda (não excluindo, claro, que alguns venham a votar em Cavaco Silva).
3. Mas quantos serão esses "indecisos de esquerda"? Não se sabe, mas a "indecisão real" será certamente superior aos 10% dos eleitores que se declaram "indecisos" em ambas as sondagens. Porque como é óbvio, estes 10% são calculados em relação aos inquiridos que aceitaram responder à sondagem. Como se vê na ficha técnica da Aximage, por exemplo, nada menos que um terço dos indivíduos que foram abordados para responder recusaram, pura e simplesmente, fazê-lo. Olhando para estes resultados e para o seu desfasamento em relação àquilo que sabemos ser a distribuição do eleitorado português em termos da sua identificação partidária e posicionamento ideológico, e mesmo tendo em conta a natureza mais "personalizada" das presidenciais, é difícil não concluir que a esquerda estará provavelmente sobrepresentada entre aqueles que se tentou inquirir mas recusaram fazer parte da amostra (e, logo, subrepresentada na amostra). Se é isto que Medeiros Ferreira quer dizer com "eleitorado escondido", acho que só posso concordar.
4. Isto não chega para mitigar, claro, o facto de as sondagens serem, para já, desastrosas para a esquerda em geral e para Mário Soares em particular.
sexta-feira, outubro 28, 2005
quinta-feira, outubro 27, 2005
Marktest, presidenciais, 27 Outubro
Saiu hoje a primeira sondagem realizada após a confirmação de todas as que parecem ser as principais candidaturas às presidenciais. Começo com esta, então, o registo sistemático de todas as sondagens publicadas sobre intenção de voto na 1ª volta das presidenciais.
As percentagens são divulgadas pelos diferentes institutos de forma muito distinta. Há quem apresente apenas os resultados como se de resultados eleitorais oficiais se tratasse, excluindo ou redistribuindo de diferentes formas os abstencionistas, os indecisos, as não respostas, os declarados não votantes e (no caso das presidenciais) brancos e nulos. Há quem exclua ou redistribua apenas os abstencionistas. E há quem apresente todas as percentagens de todas as diferentes respostas possíveis às perguntas sobre intenção de voto e/ou intenção de votar.
Vou, neste caso, ser exaustivo, e apresentar todos os resultados que me forem possíveis, de forma a permitir todas as comparações possíveis. No caso da Marktest, que apresentou resultados ditos "brutos" (percentagens calculadas em relação ao total da amostra), mostro esses, seguidos dos resultados depois de redistribuídos abstencionistas e votos brancos/nulos, e resultados depois de redistribuídas também as opções "não sabe/não responde". As redistribuições são da minha autoria, e limitam-se a tratar todas as opções não válidas como abstencionistas. A redistribuição final (a negrito) apresenta os resultados como se de resultados de eleições se tratasse, e sem casas decimais (como, não me canso de repetir, sempre deveria ser numa sondagem). E perdoem-me se coloco Paulo Portas nos "outros", mas Paulo Portas não é candidato.
As percentagens são divulgadas pelos diferentes institutos de forma muito distinta. Há quem apresente apenas os resultados como se de resultados eleitorais oficiais se tratasse, excluindo ou redistribuindo de diferentes formas os abstencionistas, os indecisos, as não respostas, os declarados não votantes e (no caso das presidenciais) brancos e nulos. Há quem exclua ou redistribua apenas os abstencionistas. E há quem apresente todas as percentagens de todas as diferentes respostas possíveis às perguntas sobre intenção de voto e/ou intenção de votar.
Vou, neste caso, ser exaustivo, e apresentar todos os resultados que me forem possíveis, de forma a permitir todas as comparações possíveis. No caso da Marktest, que apresentou resultados ditos "brutos" (percentagens calculadas em relação ao total da amostra), mostro esses, seguidos dos resultados depois de redistribuídos abstencionistas e votos brancos/nulos, e resultados depois de redistribuídas também as opções "não sabe/não responde". As redistribuições são da minha autoria, e limitam-se a tratar todas as opções não válidas como abstencionistas. A redistribuição final (a negrito) apresenta os resultados como se de resultados de eleições se tratasse, e sem casas decimais (como, não me canso de repetir, sempre deveria ser numa sondagem). E perdoem-me se coloco Paulo Portas nos "outros", mas Paulo Portas não é candidato.
Tudo o que precisa de saber sobre o poder judicial em Portugal
A Associação Sindical dos Juízes Portugueses anunciou uma taxa de adesão à greve de 95%. Contudo, segundo notícias de ontem da TSF, e ao contrário do que é habitual, o Governo não pode fornecer números alternativos. Ao que parece, isso sucede porque não existe qualquer mecanismo regular e institucionalizado de verificação da presença dos magistrados nos seus locais de trabalho. Logo, o Governo aguardará pela divulgação de números por parte do Conselho Superior de Magistratura. Sim, esse CSM cujo Conselho Permanente é composto por 8 membros, 5 deles obrigatoriamente juízes.
Ou de como num único facto se condensa quase tudo o que precisamos de saber sobre o funcionamento do poder judicial em Portugal nos últimos 30 anos.
Adenda: josé, na Grande Loja do Queijo Limiano, tece algumas críticas a este post. A não perder, mas não pelas razões que ele julga. O josé manifesta aqui e ali grande indisposição com o facto de eu ter usado este meu blogue, dedicado a sondagens e opinião pública, para transmitir aos leitores uma opinião pessoal sobre o funcionamento e organização interna do poder judicial. Parece que não só procurei "cercear o poder judicial e arreatar o exercício da sua independência" (mais um canalha), como também o fiz violando os estatutos editorais desta publicação. Estou mortificado. Mas quanto à minha suposta ignorância de "sapateiro" sobre estes temas, algo me diz que o josé não terá feito todo o trabalhinho de casa antes de escrever o seu delicado post...
Ou de como num único facto se condensa quase tudo o que precisamos de saber sobre o funcionamento do poder judicial em Portugal nos últimos 30 anos.
Adenda: josé, na Grande Loja do Queijo Limiano, tece algumas críticas a este post. A não perder, mas não pelas razões que ele julga. O josé manifesta aqui e ali grande indisposição com o facto de eu ter usado este meu blogue, dedicado a sondagens e opinião pública, para transmitir aos leitores uma opinião pessoal sobre o funcionamento e organização interna do poder judicial. Parece que não só procurei "cercear o poder judicial e arreatar o exercício da sua independência" (mais um canalha), como também o fiz violando os estatutos editorais desta publicação. Estou mortificado. Mas quanto à minha suposta ignorância de "sapateiro" sobre estes temas, algo me diz que o josé não terá feito todo o trabalhinho de casa antes de escrever o seu delicado post...
quarta-feira, outubro 26, 2005
Ainda sobre sondagens e resultados eleitorais
Ver aqui três análises (.pdf) das sondagens nas eleições do Reino Unido onde não se dispensa uma comparação com os resultados das eleições, e onde se usa essa comparação para reflectir do ponto de vista metodológico.
Algumas lições para nós:
1. A informação pública e divulgada acerca das metodologias utilizadas no Reino Unido é incomensuravelmente mais completa do que aquela que é divulgada em Portugal;
2. O facto de se reconhecer que sondagens são "fotografias" de um momento e não "previsões" não impede que a comparação com resultados eleitorais seja informativa do ponto de vista metodológico;
3. Mas isso não impede por sua vez, a tensão entre a busca de "boas fotografias" ou "boas previsões" nas diferentes práticas dos institutos de sondagens, gerando confusão entre a opinião pública e diminuindo a utilidade da análise das sondagens à luz dos resultados eleitorais. Sobre isto, Nick Sparrow, da ICM:
"When pollsters come up with a final poll that is close to the outcome of an election, with much pride they say their predictions were accurate. When they get it wrong they may often say that the poll was right when it was taken but was a snapshot of a moving situation. Clients who have sponsored an accurate poll will also use the opportunity to poke fun at their competitors who may have carried a somewhat less accurate prediction.
Some pollsters argue that all polls are snapshots but their final poll is a prediction. If this leads to rather different methods being employed on the final poll, it would seem to undermine any claim to accuracy of any poll except one taken immediately before an election.
(...)
If polls are snapshots that report what people think they would do in an immediate election, the fact that they have produced estimates a little too kind to Labour over the last few years seems more defendable, simply on the basis that they measure support for each party at any given point in time, and cannot accurately predict who will state that support in the polling booth. If they claim to be predictions then the persistent Labour bias needs to be addressed. The pollsters cannot idly flit between the two.
One solution would be for pollsters and their clients to publish snapshots AND predictions. It would seem to be quite fair to point out to readers where the uncertainties lie in the data and what direction of error those uncertainties imply.
(...)
Perhaps pollsters and their clients should openly do both, telling consumers of polls what the data says, but also adding notes of caution about any data that may lead to a somewhat different prediction of the actual outcome.
4. Talvez se em Portugal houvesse uma instituição de natureza semelhante ao British Polling Council no Reino Unido ou ao National Council on Public Polls americano muitos destes assuntos e problemas pudessem ser resolvidos de forma mais transparente para a opinião pública...
Algumas lições para nós:
1. A informação pública e divulgada acerca das metodologias utilizadas no Reino Unido é incomensuravelmente mais completa do que aquela que é divulgada em Portugal;
2. O facto de se reconhecer que sondagens são "fotografias" de um momento e não "previsões" não impede que a comparação com resultados eleitorais seja informativa do ponto de vista metodológico;
3. Mas isso não impede por sua vez, a tensão entre a busca de "boas fotografias" ou "boas previsões" nas diferentes práticas dos institutos de sondagens, gerando confusão entre a opinião pública e diminuindo a utilidade da análise das sondagens à luz dos resultados eleitorais. Sobre isto, Nick Sparrow, da ICM:
"When pollsters come up with a final poll that is close to the outcome of an election, with much pride they say their predictions were accurate. When they get it wrong they may often say that the poll was right when it was taken but was a snapshot of a moving situation. Clients who have sponsored an accurate poll will also use the opportunity to poke fun at their competitors who may have carried a somewhat less accurate prediction.
Some pollsters argue that all polls are snapshots but their final poll is a prediction. If this leads to rather different methods being employed on the final poll, it would seem to undermine any claim to accuracy of any poll except one taken immediately before an election.
(...)
If polls are snapshots that report what people think they would do in an immediate election, the fact that they have produced estimates a little too kind to Labour over the last few years seems more defendable, simply on the basis that they measure support for each party at any given point in time, and cannot accurately predict who will state that support in the polling booth. If they claim to be predictions then the persistent Labour bias needs to be addressed. The pollsters cannot idly flit between the two.
One solution would be for pollsters and their clients to publish snapshots AND predictions. It would seem to be quite fair to point out to readers where the uncertainties lie in the data and what direction of error those uncertainties imply.
(...)
Perhaps pollsters and their clients should openly do both, telling consumers of polls what the data says, but also adding notes of caution about any data that may lead to a somewhat different prediction of the actual outcome.
4. Talvez se em Portugal houvesse uma instituição de natureza semelhante ao British Polling Council no Reino Unido ou ao National Council on Public Polls americano muitos destes assuntos e problemas pudessem ser resolvidos de forma mais transparente para a opinião pública...
terça-feira, outubro 25, 2005
Off topic: Amesterdão
Sondagens no DN (e a comparação com resultados eleitorais)
Sobre as sondagens autárquicas publicadas pelo DN, uma queixa de um leitor, a resposta do director e o comentário do provedor, aqui.
Alguns comentários:
1.Parece-me correctíssimo que se relembre que as sondagens medem intenções num momento t e que os resultados eleitorais são comportamentos no momento t+1 e que, logo, as diferenças entre as primeiras e os segundos são inevitáveis. E estou de acordo com quase tudo o resto que é escrito quer pelo provedor quer pelo director do jornal.
2. Mas gostaria de, amigavelmente, expressar o meu desacordo com a ideia de que (citando a resposta de Luis Queirós, responsável da Marktest, a uma reclamação de um candidato de Matosinhos) "não se pode comparar o incomparável". Vou tentar explicar porquê.
-Imaginem que duas empresas fazem sondagens num mesmo momento. Imaginem também que, confrontados os resultados das suas descrições de intenções de voto no momento t com os resultados eleitorais no momento t+1, as descrições de uma se aproximaram mais desses resultados que as descrições de outra;
- Não poderemos tentar saber por que razão terá isso sucedido? É claro que as diferenças se podem dever a um mero acaso, e se só tivermos duas sondagens não poderemos eliminar essa hipótese. Mas se tivermos muitas sondagens, é possível que certos padrões comecem a emergir. Se as sondagens cujas intenções de voto detectadas no momento t mais se aproximam dos resultados no momento t+1 tenderem a partilhar determinadas características de forma estatisticamente significativa, então passamos a poder dizer que essas características tendem a produzir descrições no momento t que se aproximam mais dos resultados eleitorais;
- É claro que, numa única eleição em Portugal, raramente há "muitas sondagens", e mesmo que haja (nestas autárquicas, por exemplo), nem todas são realizadas no mesmo concelho ou no mesmo momento t. Mas isso não é obstáculo à análise: a distância entre o trabalho de campo e as eleições e as características relevantes de cada eleição ou concelho podem ser integradas no modelo explicativo como variáveis de controlo, permitindo que se possa testar se, ceteris paribus, as restantes variáveis potencialmente explicativas (por exemplo, dimensão da amostra ou opções metodologias adoptadas) produzem de facto efeitos na "precisão" da sondagem (ou seja, na diferença entre a descrição das intenções num determinado momento e aqueles que vêm a ser os comportamentos);
- Quando se faz isto, não se nega que "intenções" antes das eleições e "comportamentos" nas eleições são coisas diferentes, sendo os primeiros medidos pelas sondagens e os segundos não. Mas sugere-se também que há opções técnicas que são tomadas que, previsível e significativamente, podem fazer com que determinadas "descrições" sejam melhores do que outras. Por que razão não deveremos fazer esta análise comparativa? Comparar duas coisas não é dizer que são iguais. Comparar é...comparar, detectar semelhanças e diferenças, e tentar apurar as suas causas.
3. Há um argumento algo mais sofisticado contra a comparação entre sondagens e resultados eleitorais, e é o seguinte. Há sondagens que se podem revelar extremamente "precisas" (cujas descrições de intenções no momento t se aproximam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente imprecisas, dado que as suas "descrições" no momento t estariam, de facto, muito desfazadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, precisas. Pelo contrário, pode haver sondagens extremamente "imprecisas" (cujas descrições de intenções no momento t se afastam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente precisas, dado que as suas "descrições" no momento t estavam, de facto, muito aproximadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, imprecisas.
4. O argumento faz, em abstracto, algum sentido, mas tem dois problemas. Por um lado, ele remete para uma comparação com uma realidade nunca mensurável e que permanecerá desconhecida para sempre ("as intenções de voto 'reais' no momento t). Por outro lado, ela colide com a realidade. Como diversos estudos têm demonstrado, a verdade é que, quando comparamos sondagens pré-eleitorais com resultados eleitorais, a sua "precisão" (a diferença entre as intenções de voto detectadas no momento t e os resultados eleitorais no momento t+1) é de facto determinada não apenas pelo acaso, mas sim por factores metodológicos previsíveis, tais como, pura e simplesmente, a dimensão da amostra, mesmo quando se controla a passagem de tempo entre o trabalho de campo e as eleições. Se intenções e comportamentos fossem duas realidades estanques, autónomas e incomparáveis, isso não aconteceria. Há descrições das intenções de voto no momento t mais precisas do que outras, e isso pode ser apreciado, com uma correcta especificação dos modelos explicativos utilizados, comparando sondagens e resultados eleitorais. E receio que, quanto mais se insistir no argumento da incomparabilidade, mas a opinião pública vai pensar que quem faz sondagens não quer ver o seu trabalho sujeito a análise e escrutínio públicos.
5. Há, contudo, um problema. Imaginem que, enquanto alguns andam a fazer sondagens que procuram "descrever" da melhor maneira possível a opinião pública no momento t, outros, seja aplicando modelos de previsão seja por mero palpite, modificam os resultados que obtêm das suas descrições no momento t de forma a aproximarem-se o mais possível daquilo que julgam que virão a ser os resultados no momento t+1. Aqui ficamos com um problema, porque diferentes resultados estão medir coisas diferentes: uns descrevem; outros prevêem. Lembram-se nas eleições inglesas quando, de repente, sondagens que davam resultados claramente distintos passaram a dar resultados muito semelhantes? Pois. Se isso se dever a opções metodológicas e de tratamento dos dados expressas, o exercício de comparar sondagens entre si e com resultados eleitorais ainda faz sentido, desde que o modelo integre essas opções como variáveis de controlo. Mas se alguns trabalham apenas na base do "palpite", então já não há maneira de modelar essas variações, e o exercício perde sentido.
6. A não ser que tenhamos muitas observações ao longo de muito tempo. Os palpites falham umas vezes e acertam outras, e com grandes números, é presumível que tudo se transforme em ruído aleatório. O que me parece mal é que, com o argumento da não comparabilidade entre sondagens e resultados eleitorais, desistamos de procurar quais as opções metodológicas que permitem melhores descrições da realidade. E acho que a opinião pública não deve ficar a pensar - erradamente, claro - que quem faz sondagens julga que se pode refugiar nesse argumento para justificar todo e qualquer desfazamento entre o resultado de uma sondagem e um resultado de uma eleição.
Alguns comentários:
1.Parece-me correctíssimo que se relembre que as sondagens medem intenções num momento t e que os resultados eleitorais são comportamentos no momento t+1 e que, logo, as diferenças entre as primeiras e os segundos são inevitáveis. E estou de acordo com quase tudo o resto que é escrito quer pelo provedor quer pelo director do jornal.
2. Mas gostaria de, amigavelmente, expressar o meu desacordo com a ideia de que (citando a resposta de Luis Queirós, responsável da Marktest, a uma reclamação de um candidato de Matosinhos) "não se pode comparar o incomparável". Vou tentar explicar porquê.
-Imaginem que duas empresas fazem sondagens num mesmo momento. Imaginem também que, confrontados os resultados das suas descrições de intenções de voto no momento t com os resultados eleitorais no momento t+1, as descrições de uma se aproximaram mais desses resultados que as descrições de outra;
- Não poderemos tentar saber por que razão terá isso sucedido? É claro que as diferenças se podem dever a um mero acaso, e se só tivermos duas sondagens não poderemos eliminar essa hipótese. Mas se tivermos muitas sondagens, é possível que certos padrões comecem a emergir. Se as sondagens cujas intenções de voto detectadas no momento t mais se aproximam dos resultados no momento t+1 tenderem a partilhar determinadas características de forma estatisticamente significativa, então passamos a poder dizer que essas características tendem a produzir descrições no momento t que se aproximam mais dos resultados eleitorais;
- É claro que, numa única eleição em Portugal, raramente há "muitas sondagens", e mesmo que haja (nestas autárquicas, por exemplo), nem todas são realizadas no mesmo concelho ou no mesmo momento t. Mas isso não é obstáculo à análise: a distância entre o trabalho de campo e as eleições e as características relevantes de cada eleição ou concelho podem ser integradas no modelo explicativo como variáveis de controlo, permitindo que se possa testar se, ceteris paribus, as restantes variáveis potencialmente explicativas (por exemplo, dimensão da amostra ou opções metodologias adoptadas) produzem de facto efeitos na "precisão" da sondagem (ou seja, na diferença entre a descrição das intenções num determinado momento e aqueles que vêm a ser os comportamentos);
- Quando se faz isto, não se nega que "intenções" antes das eleições e "comportamentos" nas eleições são coisas diferentes, sendo os primeiros medidos pelas sondagens e os segundos não. Mas sugere-se também que há opções técnicas que são tomadas que, previsível e significativamente, podem fazer com que determinadas "descrições" sejam melhores do que outras. Por que razão não deveremos fazer esta análise comparativa? Comparar duas coisas não é dizer que são iguais. Comparar é...comparar, detectar semelhanças e diferenças, e tentar apurar as suas causas.
3. Há um argumento algo mais sofisticado contra a comparação entre sondagens e resultados eleitorais, e é o seguinte. Há sondagens que se podem revelar extremamente "precisas" (cujas descrições de intenções no momento t se aproximam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente imprecisas, dado que as suas "descrições" no momento t estariam, de facto, muito desfazadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, precisas. Pelo contrário, pode haver sondagens extremamente "imprecisas" (cujas descrições de intenções no momento t se afastam muito dos comportamentos no momento t+1) mas que, na realidade, podem ter sido extremamente precisas, dado que as suas "descrições" no momento t estavam, de facto, muito aproximadas da "realidade" nesse momento. Foi a mudança de t para t+1 que as tornou, por mero acaso, imprecisas.
4. O argumento faz, em abstracto, algum sentido, mas tem dois problemas. Por um lado, ele remete para uma comparação com uma realidade nunca mensurável e que permanecerá desconhecida para sempre ("as intenções de voto 'reais' no momento t). Por outro lado, ela colide com a realidade. Como diversos estudos têm demonstrado, a verdade é que, quando comparamos sondagens pré-eleitorais com resultados eleitorais, a sua "precisão" (a diferença entre as intenções de voto detectadas no momento t e os resultados eleitorais no momento t+1) é de facto determinada não apenas pelo acaso, mas sim por factores metodológicos previsíveis, tais como, pura e simplesmente, a dimensão da amostra, mesmo quando se controla a passagem de tempo entre o trabalho de campo e as eleições. Se intenções e comportamentos fossem duas realidades estanques, autónomas e incomparáveis, isso não aconteceria. Há descrições das intenções de voto no momento t mais precisas do que outras, e isso pode ser apreciado, com uma correcta especificação dos modelos explicativos utilizados, comparando sondagens e resultados eleitorais. E receio que, quanto mais se insistir no argumento da incomparabilidade, mas a opinião pública vai pensar que quem faz sondagens não quer ver o seu trabalho sujeito a análise e escrutínio públicos.
5. Há, contudo, um problema. Imaginem que, enquanto alguns andam a fazer sondagens que procuram "descrever" da melhor maneira possível a opinião pública no momento t, outros, seja aplicando modelos de previsão seja por mero palpite, modificam os resultados que obtêm das suas descrições no momento t de forma a aproximarem-se o mais possível daquilo que julgam que virão a ser os resultados no momento t+1. Aqui ficamos com um problema, porque diferentes resultados estão medir coisas diferentes: uns descrevem; outros prevêem. Lembram-se nas eleições inglesas quando, de repente, sondagens que davam resultados claramente distintos passaram a dar resultados muito semelhantes? Pois. Se isso se dever a opções metodológicas e de tratamento dos dados expressas, o exercício de comparar sondagens entre si e com resultados eleitorais ainda faz sentido, desde que o modelo integre essas opções como variáveis de controlo. Mas se alguns trabalham apenas na base do "palpite", então já não há maneira de modelar essas variações, e o exercício perde sentido.
6. A não ser que tenhamos muitas observações ao longo de muito tempo. Os palpites falham umas vezes e acertam outras, e com grandes números, é presumível que tudo se transforme em ruído aleatório. O que me parece mal é que, com o argumento da não comparabilidade entre sondagens e resultados eleitorais, desistamos de procurar quais as opções metodológicas que permitem melhores descrições da realidade. E acho que a opinião pública não deve ficar a pensar - erradamente, claro - que quem faz sondagens julga que se pode refugiar nesse argumento para justificar todo e qualquer desfazamento entre o resultado de uma sondagem e um resultado de uma eleição.
segunda-feira, outubro 24, 2005
Nação
Um pequeno equívoco, esclarecido aqui.
A Constituição Espanhola está cheia destas coisas, ambiguidades, palavras proibidas, ou palavras-código que significam umas coisas para uns e outras para outros. O resultado do "consenso" (estas aspas já são ligeiramente irónicas, mas era complicado explicar agora porquê...). Por exemplo, "Federalismo" é quase palavra proibida, se bem que nada falte à Espanha para ser uma federação (um federalismo assimétrico e competitivo, claro, mas federalismo nonetheless).
Sobre a discussão acerca da utilização do termo "Nação" no Estatut, e para ficarmos só pela imprensa recente, ver aqui ou aqui. Um estudo aprofundado destas e doutras questões do domínio do simbólico (mas não por isso menos relevantes) na transição espanhola é este.
A Constituição Espanhola está cheia destas coisas, ambiguidades, palavras proibidas, ou palavras-código que significam umas coisas para uns e outras para outros. O resultado do "consenso" (estas aspas já são ligeiramente irónicas, mas era complicado explicar agora porquê...). Por exemplo, "Federalismo" é quase palavra proibida, se bem que nada falte à Espanha para ser uma federação (um federalismo assimétrico e competitivo, claro, mas federalismo nonetheless).
Sobre a discussão acerca da utilização do termo "Nação" no Estatut, e para ficarmos só pela imprensa recente, ver aqui ou aqui. Um estudo aprofundado destas e doutras questões do domínio do simbólico (mas não por isso menos relevantes) na transição espanhola é este.
sexta-feira, outubro 14, 2005
Governing without consent
Análise do Polling Report. Excertos:
Not only are Bush’s overall approval ratings low and doubts about his leadership growing, but on a variety of issues he has been judged seriously deficient. A Zogby International survey gives Bush poor marks on a host of domestic and foreign concerns. Overall, the ratio of poor-to-excellent scores ranges from a low of 1:1 (managing the war on terror and Hurricane Rita) to a high of 8:1 (handling gasoline prices). If this were a parliamentary system, there would be a vote of no confidence and a new election held.
(...)
Six presidents since FDR have failed to recoup their public standing: Harry S. Truman, Lyndon B. Johnson, Richard M. Nixon, Gerald Ford, Jimmy Carter, and George H. W. Bush. What unites these six failed presidencies is each man’s inability to change the subject. Harry Truman could not get the public’s mind off the Korean War. Lyndon Johnson could not get people to focus on anything else except Vietnam and race riots. Richard Nixon could not erase the airing of the Watergate tapes (even as he tried to erase them in fact). Gerald Ford could not ameliorate voter anger over the Nixon pardon. Jimmy Carter became identified with his malaise speech and the Iranian hostage crisis. And George H. W. Bush was a foreign policy president at a time when voters could have cared less. George W. Bush is likely to share the fates of his predecessors for one reason: he can’t change the subject. Bush cannot take the focus away from the aftereffects of Hurricanes Katrina and Rita; Iraq continues to drain U.S. lives and resources with no end in sight; and (thanks to Iraq and the hurricanes) the fiscal crisis facing the next president has come four years early.
(...)
Forty-five years ago political scientist Richard Neustadt (in Presidential Power) noted that governing without consent has its consequences, as elites constantly gauge a president’s prestige: "[T]he prevalent impression of a president’s public standing tends to set a tone and to define the limits of what Washingtonians do for him, or do to him." The remainder of the Bush presidency will be more about limits, since his status has suffered a fatal blow. Consequently, the next three years will be marking time until another president with a popular mandate assumes the office.
Not only are Bush’s overall approval ratings low and doubts about his leadership growing, but on a variety of issues he has been judged seriously deficient. A Zogby International survey gives Bush poor marks on a host of domestic and foreign concerns. Overall, the ratio of poor-to-excellent scores ranges from a low of 1:1 (managing the war on terror and Hurricane Rita) to a high of 8:1 (handling gasoline prices). If this were a parliamentary system, there would be a vote of no confidence and a new election held.
(...)
Six presidents since FDR have failed to recoup their public standing: Harry S. Truman, Lyndon B. Johnson, Richard M. Nixon, Gerald Ford, Jimmy Carter, and George H. W. Bush. What unites these six failed presidencies is each man’s inability to change the subject. Harry Truman could not get the public’s mind off the Korean War. Lyndon Johnson could not get people to focus on anything else except Vietnam and race riots. Richard Nixon could not erase the airing of the Watergate tapes (even as he tried to erase them in fact). Gerald Ford could not ameliorate voter anger over the Nixon pardon. Jimmy Carter became identified with his malaise speech and the Iranian hostage crisis. And George H. W. Bush was a foreign policy president at a time when voters could have cared less. George W. Bush is likely to share the fates of his predecessors for one reason: he can’t change the subject. Bush cannot take the focus away from the aftereffects of Hurricanes Katrina and Rita; Iraq continues to drain U.S. lives and resources with no end in sight; and (thanks to Iraq and the hurricanes) the fiscal crisis facing the next president has come four years early.
(...)
Forty-five years ago political scientist Richard Neustadt (in Presidential Power) noted that governing without consent has its consequences, as elites constantly gauge a president’s prestige: "[T]he prevalent impression of a president’s public standing tends to set a tone and to define the limits of what Washingtonians do for him, or do to him." The remainder of the Bush presidency will be more about limits, since his status has suffered a fatal blow. Consequently, the next three years will be marking time until another president with a popular mandate assumes the office.
quinta-feira, outubro 13, 2005
It made sense at the time
Aqui ao lado, o estado de graça também acabou:
Sigma-Dos, 4-6 Out., N=1000.
PP: 40.5%
PSOE: 40.1%
Other: 19.3%
Um dos factores que empurra o PP para cima é o verdadeiro molho de bróculos em que Zapatero se meteu quando, em 2003, prometeu em pleno Palau Sant Jordi "respeitar e apoiar" o "autogoverno e a identidade catalãs" e votar a favor de um novo Estatuto proposto pelo parlamento caso chegasse a Primeiro Ministro. Agora, o Parlamento da Catalunha reclama os "direitos históricos" da "Nação" catalã. "It made sense at the time" (...) since few people expected Zapatero would win the 2004 election. Pois.
Está a favor ou contra o Estatuto proposto pelo Parlamento Catalão?
A favor: 24,0%
Contra: 57,2%
Ns/Nr: 19,8%
Sigma-Dos, 4-6 Out., N=1000.
PP: 40.5%
PSOE: 40.1%
Other: 19.3%
Um dos factores que empurra o PP para cima é o verdadeiro molho de bróculos em que Zapatero se meteu quando, em 2003, prometeu em pleno Palau Sant Jordi "respeitar e apoiar" o "autogoverno e a identidade catalãs" e votar a favor de um novo Estatuto proposto pelo parlamento caso chegasse a Primeiro Ministro. Agora, o Parlamento da Catalunha reclama os "direitos históricos" da "Nação" catalã. "It made sense at the time" (...) since few people expected Zapatero would win the 2004 election. Pois.
Está a favor ou contra o Estatuto proposto pelo Parlamento Catalão?
A favor: 24,0%
Contra: 57,2%
Ns/Nr: 19,8%
Off topic: Pinter Nobel (aditado)
Que bela e inesperada escolha. Ainda por cima, dá-nos a oportunidade de ver, dentro de momentos - escrevo isto às 12.25h do dia 13 - os blogues previsíveis a espernearem com o percurso político do homem, a falência ideológica da Academia Sueca, etc. Sit back and enjoy the play.
Aditamento: Já podem ir aqui, e não precisam de agradecer. Quem me dera que fazer sondagens fosse tão fácil como isto.
Aditamento: Já podem ir aqui, e não precisam de agradecer. Quem me dera que fazer sondagens fosse tão fácil como isto.
quarta-feira, outubro 12, 2005
Os efeitos das sondagens
De outro e-mail:
"Sei que deve ser complicado, mas deve haver alguma maneira de se poder medir o grau de Auto-Regressividade que as sondagens pré-eleitorais contêm. Penso que no Porto as Sondagens pré-eleitorais foram decisivas para a Maioria do Rui Rio no Porto, foi factor de mobilização. E penso que as sondagens em Braga , ( duas com resultados largamente favoráveis ao incumbente , outro com resultados em empate técnico) foram factor de desmobilização."
Complicado é pouco. Em 2001 foi apresentado um paper na conferência da World Association of Public Opinion Research, em Roma, intitulado "Towards a Systematic Assessment of the Impact of Polls on Voters: A Meta-analytical Overview and Theoretical Framework" escrito por dois investigadores da Universidade de Zurique (Sibylle Hardmeier e Hubert Roth) onde, com paciência e meticulosidade suíças, se fazia uma "meta-análise" dos efeitos das sondagens no comportamento eleitoral. Proceder a uma "meta-análise", uma metodologia comum nas ciências biomédicas, significa, para abreviar, procurar detectar relações entre fenómenos usando não observações empíricas directas mas sim os resultados de outros estudos publicados. Por outras palavras, uma "super-recensão".
Depois de analisarem 74 estudos publicados em revistas peer-reviewed em todo o mundo, os autores concluíram o seguinte:
1. Nunca se detectaram efeitos significativos e robustos das sondagens na abstenção/participação eleitoral;
2. A maioria dos estudos que detectam efeitos na escolha de voto detectam efeitos bandwagon (sondagens que apontam um vencedor tendem a aumentar a probabilidade de que os eleitore votem nesse vencedor), se bem que também existe um número significativo de estudos que apontam efeitos underdog (favorecendo o "perdedor" nas sondagens);
3. Os resultados são claramente contrastantes consoante a metodologia usada: estudos na área da psicologia social, utilizando desenhos experimentais, tendem a encontrar efeitos bandwagon; estudos usando inquéritos de opinião produzem resultados mais variados.
Em resumo, os autores concluem que as sondagens produzem quase certamente efeitos, mas não é evidente em quem, como, em que direcção e em que circunstâncias. Certo certo é que, em resposta à sugestão do leitor, nunca se encontraram efeitos das sondagens na mobilização ou desmobilização eleitoral, mas apenas na intenção ou escolha de voto, e mesmo assim em direcções contraditórias. Isto quer dizer que não existem? Não. Quer dizer que estamos à espera que alguém prove que eles existem. E não é por falta de tentativas...
O problema é este: como saber se as expectativas que as pessoas formam sobre os resultados das eleições resultam directamente das sondagens em si mesmas ou de outra coisa qualquer? A verdade é que, quando questionados, antes das eleições, sobre o que esperam que venham a ser os resultados, os indivíduos que estiveram expostos a sondagens tendem a dar palpites muito aproximados aos daqueles que não estiveram expostos a elas. E se estar "exposto" directamente é apenas uma pequena parte dos efeitos gerais que as sondagens podem ter nas expectativas dos eleitores (porque podem condicionar indirectamente essas expectativas ao afectaram a cobertura mediática e o discurso político), como se demonstram esses efeitos indirectos? E se há sondagens contraditórias num mesmo momento, quais delas têm efeitos em quem, e como? Complicado, deveras.
O leitor relata ainda um episódio interessante destas eleições (mais um):
Chamo a sua atenção para o que se passou em Braga. No dia seguinte à publicação de uma sondagem em que se dava conta de um empate técnico num jornal diário, num outro, fortemente identificado com o poder local, dava-se uma sondagem com diferença de 17 % entre os dois maiores candidatos (ver http://www.marktest.com/wap/a/p/conc~Braga/id~cd.aspx) No entanto esta sondagem, a última a ser apresentada , foi realizada duas semanas antes da outra, e três semanas antes da sua publicação! É errado pressupor que houve manipulação do timing da sondagem? É normal congelarem sondagens durante 3 semanas?
"Pressupor" parece-me errado, mas normal não será, concerteza.
"Sei que deve ser complicado, mas deve haver alguma maneira de se poder medir o grau de Auto-Regressividade que as sondagens pré-eleitorais contêm. Penso que no Porto as Sondagens pré-eleitorais foram decisivas para a Maioria do Rui Rio no Porto, foi factor de mobilização. E penso que as sondagens em Braga , ( duas com resultados largamente favoráveis ao incumbente , outro com resultados em empate técnico) foram factor de desmobilização."
Complicado é pouco. Em 2001 foi apresentado um paper na conferência da World Association of Public Opinion Research, em Roma, intitulado "Towards a Systematic Assessment of the Impact of Polls on Voters: A Meta-analytical Overview and Theoretical Framework" escrito por dois investigadores da Universidade de Zurique (Sibylle Hardmeier e Hubert Roth) onde, com paciência e meticulosidade suíças, se fazia uma "meta-análise" dos efeitos das sondagens no comportamento eleitoral. Proceder a uma "meta-análise", uma metodologia comum nas ciências biomédicas, significa, para abreviar, procurar detectar relações entre fenómenos usando não observações empíricas directas mas sim os resultados de outros estudos publicados. Por outras palavras, uma "super-recensão".
Depois de analisarem 74 estudos publicados em revistas peer-reviewed em todo o mundo, os autores concluíram o seguinte:
1. Nunca se detectaram efeitos significativos e robustos das sondagens na abstenção/participação eleitoral;
2. A maioria dos estudos que detectam efeitos na escolha de voto detectam efeitos bandwagon (sondagens que apontam um vencedor tendem a aumentar a probabilidade de que os eleitore votem nesse vencedor), se bem que também existe um número significativo de estudos que apontam efeitos underdog (favorecendo o "perdedor" nas sondagens);
3. Os resultados são claramente contrastantes consoante a metodologia usada: estudos na área da psicologia social, utilizando desenhos experimentais, tendem a encontrar efeitos bandwagon; estudos usando inquéritos de opinião produzem resultados mais variados.
Em resumo, os autores concluem que as sondagens produzem quase certamente efeitos, mas não é evidente em quem, como, em que direcção e em que circunstâncias. Certo certo é que, em resposta à sugestão do leitor, nunca se encontraram efeitos das sondagens na mobilização ou desmobilização eleitoral, mas apenas na intenção ou escolha de voto, e mesmo assim em direcções contraditórias. Isto quer dizer que não existem? Não. Quer dizer que estamos à espera que alguém prove que eles existem. E não é por falta de tentativas...
O problema é este: como saber se as expectativas que as pessoas formam sobre os resultados das eleições resultam directamente das sondagens em si mesmas ou de outra coisa qualquer? A verdade é que, quando questionados, antes das eleições, sobre o que esperam que venham a ser os resultados, os indivíduos que estiveram expostos a sondagens tendem a dar palpites muito aproximados aos daqueles que não estiveram expostos a elas. E se estar "exposto" directamente é apenas uma pequena parte dos efeitos gerais que as sondagens podem ter nas expectativas dos eleitores (porque podem condicionar indirectamente essas expectativas ao afectaram a cobertura mediática e o discurso político), como se demonstram esses efeitos indirectos? E se há sondagens contraditórias num mesmo momento, quais delas têm efeitos em quem, e como? Complicado, deveras.
O leitor relata ainda um episódio interessante destas eleições (mais um):
Chamo a sua atenção para o que se passou em Braga. No dia seguinte à publicação de uma sondagem em que se dava conta de um empate técnico num jornal diário, num outro, fortemente identificado com o poder local, dava-se uma sondagem com diferença de 17 % entre os dois maiores candidatos (ver http://www.marktest.com/wap/a/p/conc~Braga/id~cd.aspx) No entanto esta sondagem, a última a ser apresentada , foi realizada duas semanas antes da outra, e três semanas antes da sua publicação! É errado pressupor que houve manipulação do timing da sondagem? É normal congelarem sondagens durante 3 semanas?
"Pressupor" parece-me errado, mas normal não será, concerteza.
Presidenciais (com atraso)
Intercampus, 3-6-Outubro 2005, N=1004
1ª volta, cenário 1 (indecisos redistribuidos);
Cavaco Silva: 53%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 6%
Jerónimo de Sousa: 4%
1ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 50%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 7%
Jerónimo de Sousa: 4%
Paulo Portas: 2%
2ª volta, cenário 1 (indecisos redistribuidos):
Cavaco Silva: 66%
Mário Soares: 34%
2ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 63%
Manuel Alegre: 37%
1ª volta, cenário 1 (indecisos redistribuidos);
Cavaco Silva: 53%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 6%
Jerónimo de Sousa: 4%
1ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 50%
Manuel Alegre: 19%
Mário Soares: 18%
Francisco Louçã: 7%
Jerónimo de Sousa: 4%
Paulo Portas: 2%
2ª volta, cenário 1 (indecisos redistribuidos):
Cavaco Silva: 66%
Mário Soares: 34%
2ª volta, cenário 2 (indecisos redistribuidos):
Cavaco Silva: 63%
Manuel Alegre: 37%
terça-feira, outubro 11, 2005
De um e-mail
Há cerca de 15 anos tive como actividade profissional os estudos de mercado. Posso dizer com propriedade que conheci bastante bem a realidade do meio na componente da recolha de dados, em algumas das mais relevantes empresas da época. Fiz muitas entrevistas, muito trabalho de supervisão, algum de codificação e, acima de tudo, de coordenação do trabalho de campo, num período de cerca de 3 anos.
À época era para mim um mistério o simples facto de as sondagens políticas terem o mínimo de aderência à realidade. Posso afirmar, sem rodeios, que a maior parte do trabalho de campo não era, pura e simplesmente, credível. Divulgavam-se taxas de supervisão falsas ou empoladas e muitas vezes a própria supervisão era, também ela, fraudulenta. Esta foi a realidade que conheci. O valor comercial dos estudos apenas permitia suportar um trabalho de campo feito por pessoas não profissionais, e qualquer tentativa de elevar a fasquia da qualidade, por exemplo apostando numa supervisão efectiva e com consequências, traduzia-se na inviabilidade económica do trabalho. Esta realidade pode ter mudado, hoje em dia já não estou em contacto com esse meio, por isso as minhas reflexões devem ser entendidas à luz de uma experiência datada.
(...)
Quando se questiona um eleitor sobre o quais as suas expectativas em relação ao resultado de uma votação em que ele também participará, obtêm-se números que, não podendo ser usados como indicadores de voto, correspondem no entanto à percepção comum sobre o sentido de voto, e portanto é natural que não se afastem muito do voto real. As pessoas que respondem estão inseridas num contexto em que comunicam entre si e a comunicação social traduz e amplifica tendências. É com esta perspectiva que respondo à minha própria pergunta de há 15 anos: o universo dos entrevistadores é ele próprio uma amostra (involuntária e sem qualquer critério claro...) do universo em estudo. Se, por absurdo, todos os questionários de uma determinada sondagem fossem respondidos integralmente pelos entrevistadores, obteríamos mesmo assim resultados com alguma correspondência com a realidade. Algures entre este cenário absurdo e a utopia de um trabalho de campo impoluto está a realidade e portanto, hoje, não me surpreende rigorosamente nada o nível de adesão à realidade de alguns estudos com problemas gravíssimos na recolha de dados.
(...)
Ontem a quente, e hoje confirmado nos quadros resumo que publica, parece tudo ser ao contrário... De facto, à excepção da sondagem da Católica no Porto, das 15 pré-eleitorais analisadas nos seus quadros as telefónicas, pelo método 5, apresentam menores desvios face ao voto real. Com menor expressão, mas no mesmo sentido análise pelo método 3. Ora o que me ocorreu, ainda antes destes números, é que talvez possam existir de facto desvantagens nas telefónicas, e isso pode influenciar os resultados, mas será que as questões (e lembro-me da realidade negra que conheci...) de controle sobre o trabalho de campo, muito mais relevantes nas presenciais, não terão um efeito ainda mais nocivo.
Pois é. Só não sei se concordo com a ideia de que, em situações limite de "fraude" (que, garanto, tem sido raríssimas nos trabalhos em que me tenho envolvido, mas nunca se sabe...), os resultados das sondagens acabem por reflectir a realidade devido ao facto de reflectirem as preferências dos inquiridores ou a sua percepção da relação de forças no universo. Por um lado - e isso joga especialmente nas autárquicas - os inquiridores são frequentemente deslocados para contextos com os quais não têm mínima familiaridade política. Por outro lado, pressupô-los atentos ao que se vai passando nos variados contextos locais onde se deslocam é pressupor demais sobre o seu grau de atenção política.
Mas concordo com tudo o resto, especialmente no que respeita à potencial má qualidade no trabalho de campo. E isso é mais importante neste tipo de sondagens pré-eleitorais onde, ao contrário de outros trabalhos, a verificação e o controlo são inevitavelmente menos rigorosos, por força da urgência em pôr resultados cá fora. Sobre a sondagem à boca das urnas, para além das inestimáveis vantagens dos grandes números e de se medirem comportamentos declarados de votantes (em vez de intenções declaradas de eleitores), o leitor tem razão: o controlo é, de facto, muito mais apertado, até pelas circunstâncias concretas em que o trabalho tem lugar (contacto quase permanente com a coordenação central, localização estável ao longo do dia, etc.).
À época era para mim um mistério o simples facto de as sondagens políticas terem o mínimo de aderência à realidade. Posso afirmar, sem rodeios, que a maior parte do trabalho de campo não era, pura e simplesmente, credível. Divulgavam-se taxas de supervisão falsas ou empoladas e muitas vezes a própria supervisão era, também ela, fraudulenta. Esta foi a realidade que conheci. O valor comercial dos estudos apenas permitia suportar um trabalho de campo feito por pessoas não profissionais, e qualquer tentativa de elevar a fasquia da qualidade, por exemplo apostando numa supervisão efectiva e com consequências, traduzia-se na inviabilidade económica do trabalho. Esta realidade pode ter mudado, hoje em dia já não estou em contacto com esse meio, por isso as minhas reflexões devem ser entendidas à luz de uma experiência datada.
(...)
Quando se questiona um eleitor sobre o quais as suas expectativas em relação ao resultado de uma votação em que ele também participará, obtêm-se números que, não podendo ser usados como indicadores de voto, correspondem no entanto à percepção comum sobre o sentido de voto, e portanto é natural que não se afastem muito do voto real. As pessoas que respondem estão inseridas num contexto em que comunicam entre si e a comunicação social traduz e amplifica tendências. É com esta perspectiva que respondo à minha própria pergunta de há 15 anos: o universo dos entrevistadores é ele próprio uma amostra (involuntária e sem qualquer critério claro...) do universo em estudo. Se, por absurdo, todos os questionários de uma determinada sondagem fossem respondidos integralmente pelos entrevistadores, obteríamos mesmo assim resultados com alguma correspondência com a realidade. Algures entre este cenário absurdo e a utopia de um trabalho de campo impoluto está a realidade e portanto, hoje, não me surpreende rigorosamente nada o nível de adesão à realidade de alguns estudos com problemas gravíssimos na recolha de dados.
(...)
Ontem a quente, e hoje confirmado nos quadros resumo que publica, parece tudo ser ao contrário... De facto, à excepção da sondagem da Católica no Porto, das 15 pré-eleitorais analisadas nos seus quadros as telefónicas, pelo método 5, apresentam menores desvios face ao voto real. Com menor expressão, mas no mesmo sentido análise pelo método 3. Ora o que me ocorreu, ainda antes destes números, é que talvez possam existir de facto desvantagens nas telefónicas, e isso pode influenciar os resultados, mas será que as questões (e lembro-me da realidade negra que conheci...) de controle sobre o trabalho de campo, muito mais relevantes nas presenciais, não terão um efeito ainda mais nocivo.
Pois é. Só não sei se concordo com a ideia de que, em situações limite de "fraude" (que, garanto, tem sido raríssimas nos trabalhos em que me tenho envolvido, mas nunca se sabe...), os resultados das sondagens acabem por reflectir a realidade devido ao facto de reflectirem as preferências dos inquiridores ou a sua percepção da relação de forças no universo. Por um lado - e isso joga especialmente nas autárquicas - os inquiridores são frequentemente deslocados para contextos com os quais não têm mínima familiaridade política. Por outro lado, pressupô-los atentos ao que se vai passando nos variados contextos locais onde se deslocam é pressupor demais sobre o seu grau de atenção política.
Mas concordo com tudo o resto, especialmente no que respeita à potencial má qualidade no trabalho de campo. E isso é mais importante neste tipo de sondagens pré-eleitorais onde, ao contrário de outros trabalhos, a verificação e o controlo são inevitavelmente menos rigorosos, por força da urgência em pôr resultados cá fora. Sobre a sondagem à boca das urnas, para além das inestimáveis vantagens dos grandes números e de se medirem comportamentos declarados de votantes (em vez de intenções declaradas de eleitores), o leitor tem razão: o controlo é, de facto, muito mais apertado, até pelas circunstâncias concretas em que o trabalho tem lugar (contacto quase permanente com a coordenação central, localização estável ao longo do dia, etc.).
segunda-feira, outubro 10, 2005
Eleições de segunda ordem
Há na Ciência Política uma teoria que sugere que as eleições se distinguem pela sua importância/saliência. Eleições de primeira ordem são aquelas que servem para determinar quem governa, e as de segunda ordem são as outras, tais como as eleições europeias ou autárquicas.
A implicação é que os eleitores tendem a comportar-se de forma diferentes nessas eleições. Independentemente de todos os outros factores que podem determinar o voto, os apoiantes do partido que está no governo tendem a sentir que, em eleições de segunda ordem, podem aproveitar a ocasião para enviar um sinal de descontentamento (caso o sintam), dado que isso não tem consequências para a composição do governo. E aqueles que simpatizam com pequenos partidos, mas que nas legislativas votam útil, sentem-se à vontade para votar "sinceramente" (em vez de "estrategicamente") nas eleições de segunda ordem.
Quais as implicações?
1. Pequenos partidos tendem a ser recompensados em eleições de segunda ordem (em comparação com eleições de primeira ordem);
2.Grandes partidos tendem a ser punidos em eleições de segunda ordem;
3. Partidos no governo tendem a ser mais punidos, especialmente se as eleições de segunda ordem se dão a meio do ciclo das eleições de primeira ordem.
São as eleições autárquicas em Portugal eleições de segunda ordem? O meu colega André Freire tentou responder à questão aqui (.pdf), e conclui que:
1. Os grandes partidos tendem a ter pior desempenho nas eleições autárquicas;
2. Os pequenos partidos tendem a ter melhor desempenho nas eleições autárquicas;
3. Os partidos no governo têm pior desempenho nas eleições autárquicas, mas apenas quando elas têm lugar a meio do ciclo, sendo as perdas tanto maiores quanto piores são as condições económicas. Pelo contrário, eleições autárquicas realizadas no período de "lua de mel" após as legislativas tendem a resultar em ganhos para os partidos de governo.
Giro, não? Por outras palavras, independentemente da miríade de factores locais que afectam o desempenho eleitoral, há padrões sistemáticos nos dados a nível agregado. Os resultados de eleições locais são afectados por factores nacionais (ciclo eleitoral, popularidade, economia). Outra implicação curiosa desta teoria é esta: ao coligar-se com o PSD em tantos concelhos, o CDS está potencialmente a desperdiçar votos que poderia captar na condição de "pequeno partido" e, logo, a fazer um inestimável favor ao PSD. Mas não se fazem favores sem contrapartidas: a estratégia do CDS-PP nestes eleições exemplifica assim os casos em que office se torna mais importante do que votes nos objectivos de um partido, if you catch my meaning.
E 2005? O PS teve 45% em Fevereiro e 36% nestas autárquicas, 8 meses depois. Por outras palavras, a fiar-me nos dados do André, estas eleições autárquicas são as primeiras em que um partido no governo perde pontos percentuais em relação às legislativas em eleições locais realizadas menos de um ano depois das legislativas, ou seja, ainda no suposto "honeymoon period". Com isto não quero dizer, longe disso, que estas eleições coloquem em causa a "legitimidade" do governo (que disparate), criem uma "nova e diferente maioria", signifiquem "a rejeição das políticas do governo", ou qualquer coisa nesse registo. Quero apenas dizer que, se queriam um dia oficial para o fim do "estado de graça" do governo PS, já o têm: marquem lá o dia 9 de Outubro de 2005 nas vossas agendas.
P.S. - Já agora: a questão "qual o partido que tem mais votos" nestas eleições é irrespondível, dado que o PSD concorreu coligado em muitos concelhos. Mas se repartirem os votos nas coligações à razão de 4 para 1 (a razão à qual os dois partidos repartiram o financiamento das campanhas), o PSD fica com 37,6%, acima dos 35,8% do PS.
A implicação é que os eleitores tendem a comportar-se de forma diferentes nessas eleições. Independentemente de todos os outros factores que podem determinar o voto, os apoiantes do partido que está no governo tendem a sentir que, em eleições de segunda ordem, podem aproveitar a ocasião para enviar um sinal de descontentamento (caso o sintam), dado que isso não tem consequências para a composição do governo. E aqueles que simpatizam com pequenos partidos, mas que nas legislativas votam útil, sentem-se à vontade para votar "sinceramente" (em vez de "estrategicamente") nas eleições de segunda ordem.
Quais as implicações?
1. Pequenos partidos tendem a ser recompensados em eleições de segunda ordem (em comparação com eleições de primeira ordem);
2.Grandes partidos tendem a ser punidos em eleições de segunda ordem;
3. Partidos no governo tendem a ser mais punidos, especialmente se as eleições de segunda ordem se dão a meio do ciclo das eleições de primeira ordem.
São as eleições autárquicas em Portugal eleições de segunda ordem? O meu colega André Freire tentou responder à questão aqui (.pdf), e conclui que:
1. Os grandes partidos tendem a ter pior desempenho nas eleições autárquicas;
2. Os pequenos partidos tendem a ter melhor desempenho nas eleições autárquicas;
3. Os partidos no governo têm pior desempenho nas eleições autárquicas, mas apenas quando elas têm lugar a meio do ciclo, sendo as perdas tanto maiores quanto piores são as condições económicas. Pelo contrário, eleições autárquicas realizadas no período de "lua de mel" após as legislativas tendem a resultar em ganhos para os partidos de governo.
Giro, não? Por outras palavras, independentemente da miríade de factores locais que afectam o desempenho eleitoral, há padrões sistemáticos nos dados a nível agregado. Os resultados de eleições locais são afectados por factores nacionais (ciclo eleitoral, popularidade, economia). Outra implicação curiosa desta teoria é esta: ao coligar-se com o PSD em tantos concelhos, o CDS está potencialmente a desperdiçar votos que poderia captar na condição de "pequeno partido" e, logo, a fazer um inestimável favor ao PSD. Mas não se fazem favores sem contrapartidas: a estratégia do CDS-PP nestes eleições exemplifica assim os casos em que office se torna mais importante do que votes nos objectivos de um partido, if you catch my meaning.
E 2005? O PS teve 45% em Fevereiro e 36% nestas autárquicas, 8 meses depois. Por outras palavras, a fiar-me nos dados do André, estas eleições autárquicas são as primeiras em que um partido no governo perde pontos percentuais em relação às legislativas em eleições locais realizadas menos de um ano depois das legislativas, ou seja, ainda no suposto "honeymoon period". Com isto não quero dizer, longe disso, que estas eleições coloquem em causa a "legitimidade" do governo (que disparate), criem uma "nova e diferente maioria", signifiquem "a rejeição das políticas do governo", ou qualquer coisa nesse registo. Quero apenas dizer que, se queriam um dia oficial para o fim do "estado de graça" do governo PS, já o têm: marquem lá o dia 9 de Outubro de 2005 nas vossas agendas.
P.S. - Já agora: a questão "qual o partido que tem mais votos" nestas eleições é irrespondível, dado que o PSD concorreu coligado em muitos concelhos. Mas se repartirem os votos nas coligações à razão de 4 para 1 (a razão à qual os dois partidos repartiram o financiamento das campanhas), o PSD fica com 37,6%, acima dos 35,8% do PS.
Síntese
Houve muito mais sondagens em mais concelhos, e espero poder analisá-las com mais tempo. Isto significa que tudo o que aqui disser carece de ser testado sistematicamente num maior número de casos, única forma de perceber se existem relações estatisticamente significativas entre opções técnicas e metodológicas ou atributos do contexto político e a precisão das sondagens. Tenciono, com tempo, pegar nestes 75 casos e ver o que aparece.
Contudo, diria neste momento o seguinte:
1. Em face destes dados, ficaria muito surpreendido se encontrasse uma relação estatísticamente significativa entre a metodologia de inquirição e a precisão das sondagens. Nas legislativas, essa relação não existe, como se testou aqui. Confesso, contudo, que estava persuadido de que existiria nas autárquicas, mas isso é coisa que, em face destes resultados, se torna duvidosa. Na melhor das hipóteses, poderá haver um efeito de interacção entre a metodologia de inquirição e a dimensão do concelho, com as simulações de voto a produzirem, ceteris paribus, maior precisão em concelhos de mais reduzida dimensão. A ver.
2. Apesar de, neste conjunto de casos, não parecer existir uma relação entre a distância temporal entre o trabalho de campo e as eleições e a precisão das sondagens, ficaria surpreeendido se ela não existisse assim que incluamos as sondagens realizadas em Agosto e Julho. O que se passa nos posts anteriores é que me concentrei apenas nas últimas sondagens, pelo que são todas muito parecidas desse ponto de vista. Curioso, contudo, é que as diferenças de curto prazo (uma ou duas semanas) pareçam irrelevantes. Aparência ou realidade? Logo se verá.
3. Apesar de isso só ser parcialmente evidente dos quadros anteriores, é quase garantido que, ceteris paribus, amostras de maior dimensão hão-de gerar resultados mais precisos. E claro, quanto maior o número de pequenos partidos incluídos no cálculo do desvio absoluto médio, maior há-de ser a precisão, dado que as margens de erro associadas a essas estimativas são sempre menores, o que reduz o valor do desvio absoluto médio. Estas coisas nunca falham.
4. E será importante testar o efeito da abstenção na precisão das sondagens, na pressuposição de que maior abstenção resultará em menor precisão. Isso já é manifestamente verdade nas eleições legislativas e europeias, e quase certamente será verdade neste caso. Olhe-se para Sintra, por exemplo, onde a uma abstenção de quase 50% corresponde o mais impreciso conjunto de sondagens entre os sete analisadas anteriormente.
Dito isto, ficaram os eleitores bem servidos com este conjunto de sondagens para as eleições autárquicas? Ao contrário do que se passou nas legislativas de Fevereiro - onde a resposta é inequivocamente "sim" - a resposta aqui é "depende". Ficaram, certamente, com as sondagens à boca das urnas, especialmente tendo a falta de informação que resultou do colapso do STAPE (um caso a merecer, pelo menos, tanta atenção como o do famoso "concurso dos professores"). Ficaram, também, em Oeiras e Faro, e na maior parte das sondagens feitas em Lisboa e no Porto.
Mas não há dúvida que, apesar da melhoria em relação ao descalabro de 2001, as sondagens feitas nas eleições autárquicas estão muito longe de exibirem a fiabilidade das sondagens para as legislativas. Pode-se dizer que levantam dificuldades adicionais: são em maior número, a fidelidade partidária conta menos no comportamento de voto (o que torna as intenções de voto mais instáveis e afecta os processos com que se afere a representatividade da amostragem), têm taxas de abstenção mais elevadas, etc. Mas isso não é problema dos eleitores: é um problema daqueles que fazem sondagens e daqueles que as encomendam. Os primeiros têm de encontrar soluções técnicas que para esses problemas, e os segundos têm de dar os recursos necessários para essas soluções. E não deve ser impossível, se tivermos em conta as melhorias verificadas em eleições como as europeias, antes vistas como "intratáveis".
Contudo, diria neste momento o seguinte:
1. Em face destes dados, ficaria muito surpreendido se encontrasse uma relação estatísticamente significativa entre a metodologia de inquirição e a precisão das sondagens. Nas legislativas, essa relação não existe, como se testou aqui. Confesso, contudo, que estava persuadido de que existiria nas autárquicas, mas isso é coisa que, em face destes resultados, se torna duvidosa. Na melhor das hipóteses, poderá haver um efeito de interacção entre a metodologia de inquirição e a dimensão do concelho, com as simulações de voto a produzirem, ceteris paribus, maior precisão em concelhos de mais reduzida dimensão. A ver.
2. Apesar de, neste conjunto de casos, não parecer existir uma relação entre a distância temporal entre o trabalho de campo e as eleições e a precisão das sondagens, ficaria surpreeendido se ela não existisse assim que incluamos as sondagens realizadas em Agosto e Julho. O que se passa nos posts anteriores é que me concentrei apenas nas últimas sondagens, pelo que são todas muito parecidas desse ponto de vista. Curioso, contudo, é que as diferenças de curto prazo (uma ou duas semanas) pareçam irrelevantes. Aparência ou realidade? Logo se verá.
3. Apesar de isso só ser parcialmente evidente dos quadros anteriores, é quase garantido que, ceteris paribus, amostras de maior dimensão hão-de gerar resultados mais precisos. E claro, quanto maior o número de pequenos partidos incluídos no cálculo do desvio absoluto médio, maior há-de ser a precisão, dado que as margens de erro associadas a essas estimativas são sempre menores, o que reduz o valor do desvio absoluto médio. Estas coisas nunca falham.
4. E será importante testar o efeito da abstenção na precisão das sondagens, na pressuposição de que maior abstenção resultará em menor precisão. Isso já é manifestamente verdade nas eleições legislativas e europeias, e quase certamente será verdade neste caso. Olhe-se para Sintra, por exemplo, onde a uma abstenção de quase 50% corresponde o mais impreciso conjunto de sondagens entre os sete analisadas anteriormente.
Dito isto, ficaram os eleitores bem servidos com este conjunto de sondagens para as eleições autárquicas? Ao contrário do que se passou nas legislativas de Fevereiro - onde a resposta é inequivocamente "sim" - a resposta aqui é "depende". Ficaram, certamente, com as sondagens à boca das urnas, especialmente tendo a falta de informação que resultou do colapso do STAPE (um caso a merecer, pelo menos, tanta atenção como o do famoso "concurso dos professores"). Ficaram, também, em Oeiras e Faro, e na maior parte das sondagens feitas em Lisboa e no Porto.
Mas não há dúvida que, apesar da melhoria em relação ao descalabro de 2001, as sondagens feitas nas eleições autárquicas estão muito longe de exibirem a fiabilidade das sondagens para as legislativas. Pode-se dizer que levantam dificuldades adicionais: são em maior número, a fidelidade partidária conta menos no comportamento de voto (o que torna as intenções de voto mais instáveis e afecta os processos com que se afere a representatividade da amostragem), têm taxas de abstenção mais elevadas, etc. Mas isso não é problema dos eleitores: é um problema daqueles que fazem sondagens e daqueles que as encomendam. Os primeiros têm de encontrar soluções técnicas que para esses problemas, e os segundos têm de dar os recursos necessários para essas soluções. E não deve ser impossível, se tivermos em conta as melhorias verificadas em eleições como as europeias, antes vistas como "intratáveis".
Rescaldo Lisboa
Não há como escapar: as sondagens pré-eleitorais telefónicas foram mais precisas que as sondagens com simulação de voto. É certo que o caso do Porto desmente isto, mas os de Sintra e Faro recolocam o problema. Mais certo será dizer: não parece haver hoje quaisquer garantias de que, pelo menos nos grandes centros urbanos, a simulação de voto constitua uma vantagem metodológica. E isto, por si só, é muito interessante, chamando a atenção, por exemplo, para as grandes vantagens que as sondagens telefónicas trazem para uma melhor monitorização do trabalho de campo.
Novo "caso" com a Intercampus, mas tudo o que disse anteriormente sobre o Porto aplica-se aqui também.
Na boca da urnas, o padrão recorrente de menor precisão da Eurosondagem. Porquê? Não sei.
Rescaldo Porto
Mais uma vez, olhando isoladamente para o caso do Porto, a proximidadade em relação ao acto eleitoral ou a metodologia de inquirição não parecem ser a explicação das diferenças. Mas pelo menos, desta vez, amostras maiores produzem melhores resultados. Aleluia.
Está aqui um dos "casos" das sondagens, a da Intercampus/TVI/TSF, que colocava Assis à frente com dois pontos de vantagem. É certo que algo terá corrido muito mal para aqueles lados. Mas notem como a questão do "quem vai à frente" é enganadora. Esta sondagem não foi mais imprecisa que as sondagens da Intercampus ou da Católica em Sintra (a única que me ficou "atravessada" nestas eleições, confesso), e sobre essas não houve nem haverá grande comentário. E há que reconhecer coragem à Intercampus: ninguém dá um resultado destes se não tiver confiança no seu trabalho e nos seus resultados. E a sugestão de que um instituto de sondagens manda um bicho destes cá para fora para satisfazer supostos objectivos políticos de directores de jornais só pode ser uma brincadeira.
Rescaldo Oeiras
1. Mais uma vez - já são três seguidas - a sondagem pré-eleitoral conduzida mais perto das eleições não foi a mais precisa. Mas a relação entre precisão e dimensão da amostra confere.
2. Precisão das sondagens à boca das urnas inferior ao padrão habitual. Sobre isto, uma história curiosa: ontem, durante o dia, recebi relatos de locais de voto em Oeiras onde os inquiridores da Católica eram insistentemente assediados por indivíduos que se ofereciam para votar na sondagem, rondando as equipas durante toda a tarde. Eram, segundo os relatos, apoiantes de Isaltino Morais. Apesar dos cuidados em evitar "amostras voluntárias", a sobrestimação geral da margem de vitória em todas as sondagens pode ter a ver com este, chamemos-lhe assim, "excesso de entusiasmo".
Rescaldo Sintra
1. Outra vez: sondagem feita com maior distância do dia das eleições e com menor amostra, a da Eurosondagem, é a mais precisa.
2. Mas como de costume, trabalho de boca das urnas sai sempre pior à Eurosondagem.
Rescaldo sondagens Faro
Ora cá vamos nós outra vez. Tal como fiz em relação às eleições legislativas, publico agora uma análise da precisão das principais sondagens pré-eleitorais e à boca das urnas sobre estas autárquicas. Retenho-me nos concelhos com maior cobertura e nas sondagens publicadas a partir de Setembro. E queria também dizer que, ao contrário do que por vezes se diz, estas análises não são parte de qualquer "concurso". Elas devem ser feitas por duas razões: primeiro, para saber se foi prestado um razoável serviço ao público consumidor deste tipo de informação; segundo, para tentar perceber quais são as fontes de erro e de precisão, para tentar melhorar. Só isso.
Recordo a metodologia. Por um lado, o chamado "Método 3": calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Por outro, o chamado "Método 5": medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Para a justificação destes métodos, ver aqui e aqui, e as fontes aí citadas. A única coisa que não faço, por falta de tempo, é o conjunto de operações adicionais normalmente usadas no "método 3" (recalcular percentagens excluido OBN's, etc.). Mas não fará certamente diferença de maior.
1. Ironia : a sondagem realizada mais tempo antes das eleições e com amostra de menores dimensões é a mais precisa. Mas de forma duplamente irónica, a sondagem mais precisa foi também a única que se "enganou" no vencedor...
2: O óbvio costumeiro: sondagens à boca das urnas muito mais precisas que sondagens pré-eleitorais;
3. Em geral, desvios médios dentro da margens de erro amostrais médias.
Mais reflexões adiante.
Recordo a metodologia. Por um lado, o chamado "Método 3": calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Por outro, o chamado "Método 5": medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Para a justificação destes métodos, ver aqui e aqui, e as fontes aí citadas. A única coisa que não faço, por falta de tempo, é o conjunto de operações adicionais normalmente usadas no "método 3" (recalcular percentagens excluido OBN's, etc.). Mas não fará certamente diferença de maior.
1. Ironia : a sondagem realizada mais tempo antes das eleições e com amostra de menores dimensões é a mais precisa. Mas de forma duplamente irónica, a sondagem mais precisa foi também a única que se "enganou" no vencedor...
2: O óbvio costumeiro: sondagens à boca das urnas muito mais precisas que sondagens pré-eleitorais;
3. Em geral, desvios médios dentro da margens de erro amostrais médias.
Mais reflexões adiante.
sexta-feira, outubro 07, 2005
Um e-mail
"Estas sondagens demonstram que algo está errado com as sondagens.As descrepancias são enormes, e não é só de agora.Há sondagens a nível nacional, em que os resultados são de PS 42 PSD 30 e outras com PSD 39 e PS 33! Será necessário passar para outros métodos de medição?Como está o descrédito é geral."
Acho que este sentimento é perfeitamente natural e legítimo. Quando sucede, como no Porto, que sondagens cujo trabalho de campo foi realizado no espaço de uma semana e apresentam discrepâncias que vão desde a vitória de um candidato por 19 pontos até à vitória do seu principal opositor, reacções como esta serão as mais normais.
O post anterior, contudo, tinha um objectivo: o de sugerir que estas diferenças poderão ter explicações lógicas na base daquilo que sabemos serem as fontes de erro amostral e não amostral, assim como os efeitos que diferentes métodos produzem na capacidade de obter boas inferências acerca de uma população.
Pode-se - e deve-se - inclusivamente, fazer algo mais do que sugerir: pode-se testar. Depois das eleições, será possível tentar perceber se as discrepâncias entre as sondagens, e entre elas e os resultados eleitorais, se devem a causas previsíveis e conhecidas. Foi o que fiz aqui em relação às sondagens para as legislativas e para o Parlamento Europeu, foi aquilo que dezenas de investigadores já fizeram noutros países nas suas eleições, e é o que tenciono fazer em relação a estas autárquicas, tarefa para a qual este site será de grande utilidade. Creio que antes de falarmos de "falta de credibilidade", "descrédito", ou mesmo, como se faz frequentemente, de "manipulação", devemos esgotar as hipóteses explicativas que decorrem daquilo que sabemos serem as virtualidades e limites das sondagens. Só assim aliás, será possível determinar que opções técnicas produzem resultados mais próximos da realidade e, logo, mais capazes de fornecer informação correcta ao público e de se tornarem mais "credíveis".
Dito isto, também não queria ser excessivamente defensivo. Parece-me que há institutos que, porventura, se terão "esticado" na realização de sondagens num excessivo número de concelhos. Já se tinha passado o mesmo em 2001, com os resultados conhecidos de todos. Os institutos de sondagens em Portugal são, em geral, de pequena dimensão, e os recursos que os media lhes fornecem são extremamente escassos em comparação com o que sucede noutros países. Isso tem como resultado, por exemplo, aquilo que creio ser um excessivo número de sondagens telefónicas com amostras extremamente reduzidas, que produzem resultados que só por mero acaso podem ser boas inferências das intenções de voto das populações. Dêem um passeio por aqui e verão. Nesses casos, pergunto-me o que de facto fica a opinião pública a ganhar com esta informação.
Para além disso, a tarefa de compreender as causas das diferenças entre sondagens e entre elas e os resultados só é possível se se dispuser de toda a informação acerca das metodologias utilizadas. E aqui, como de costume, as fichas técnicas divulgadas continuam a ser vagas, ambíguas e obscuras em muitos aspectos. Assim não vamos lá.
Mas repito: antes de levantar o dedinho acusador, convém testar se as diferenças entre os resultados das sondagens e as suas diferenças em relação aos resultados eleitorais têm explicações metodológicas previsíveis. Se não for esse o caso, então sim, fiquemos preocupados...
Acho que este sentimento é perfeitamente natural e legítimo. Quando sucede, como no Porto, que sondagens cujo trabalho de campo foi realizado no espaço de uma semana e apresentam discrepâncias que vão desde a vitória de um candidato por 19 pontos até à vitória do seu principal opositor, reacções como esta serão as mais normais.
O post anterior, contudo, tinha um objectivo: o de sugerir que estas diferenças poderão ter explicações lógicas na base daquilo que sabemos serem as fontes de erro amostral e não amostral, assim como os efeitos que diferentes métodos produzem na capacidade de obter boas inferências acerca de uma população.
Pode-se - e deve-se - inclusivamente, fazer algo mais do que sugerir: pode-se testar. Depois das eleições, será possível tentar perceber se as discrepâncias entre as sondagens, e entre elas e os resultados eleitorais, se devem a causas previsíveis e conhecidas. Foi o que fiz aqui em relação às sondagens para as legislativas e para o Parlamento Europeu, foi aquilo que dezenas de investigadores já fizeram noutros países nas suas eleições, e é o que tenciono fazer em relação a estas autárquicas, tarefa para a qual este site será de grande utilidade. Creio que antes de falarmos de "falta de credibilidade", "descrédito", ou mesmo, como se faz frequentemente, de "manipulação", devemos esgotar as hipóteses explicativas que decorrem daquilo que sabemos serem as virtualidades e limites das sondagens. Só assim aliás, será possível determinar que opções técnicas produzem resultados mais próximos da realidade e, logo, mais capazes de fornecer informação correcta ao público e de se tornarem mais "credíveis".
Dito isto, também não queria ser excessivamente defensivo. Parece-me que há institutos que, porventura, se terão "esticado" na realização de sondagens num excessivo número de concelhos. Já se tinha passado o mesmo em 2001, com os resultados conhecidos de todos. Os institutos de sondagens em Portugal são, em geral, de pequena dimensão, e os recursos que os media lhes fornecem são extremamente escassos em comparação com o que sucede noutros países. Isso tem como resultado, por exemplo, aquilo que creio ser um excessivo número de sondagens telefónicas com amostras extremamente reduzidas, que produzem resultados que só por mero acaso podem ser boas inferências das intenções de voto das populações. Dêem um passeio por aqui e verão. Nesses casos, pergunto-me o que de facto fica a opinião pública a ganhar com esta informação.
Para além disso, a tarefa de compreender as causas das diferenças entre sondagens e entre elas e os resultados só é possível se se dispuser de toda a informação acerca das metodologias utilizadas. E aqui, como de costume, as fichas técnicas divulgadas continuam a ser vagas, ambíguas e obscuras em muitos aspectos. Assim não vamos lá.
Mas repito: antes de levantar o dedinho acusador, convém testar se as diferenças entre os resultados das sondagens e as suas diferenças em relação aos resultados eleitorais têm explicações metodológicas previsíveis. Se não for esse o caso, então sim, fiquemos preocupados...
Síntese
Antes de mais, convém dizer que os quadros nos posts anteriores estão longe de esgotar o que foi feito nas últimas semanas em sondagens autárquicas. Mas a verdade é que Lisboa, Porto, Oeiras, Sintra e Faro são os casos que concentraram as atenções dos principais órgãos de comunicação social e nos quais, por isso mesmo, tendemos a encontrar mais sondagens (que, no entanto, são muito poucas em comparação com o que sucede noutros países). Já agora, importa também dizer que o facto de muitas destas sondagens indicarem "empates" resulta do facto de se ter decidido fazer mais sondagens, precisamente. nos concelhos onde se supunha maior indefinição. Ninguém fez sondagens em Gaia, apesar de ser um dos maiores concelhos do país...
O que temos, então?
1. Faro: apesar de haver uma sondagem que coloca PSD e PS par a par, essa sondagem foi conduzida há mais tempo que duas outras que convergem completamente numa vitória folgada do PS (Católica, primeiro, e Intercampus, uma semana depois). A não ser que a metodologia de inquirição usada por ambas esteja a produzir enviesamento (sendo que, para mim, o inverso é muito mais provável), Vitorino está de saída.
2. Sintra: aqui também se verifica um fenómeno semelhante a Faro. Fica a ideia de que, independentemente da data do trabalho de campo, os "incumbents" se saem pior em sondagens que utilizam simulação de voto em urna. Quanto ao que poderá vir a ser o resultado final, quem sabe? Por um lado, apesar de Seara e Soares estarem praticamente empatados em cada sondagem tomada individualmente, é improvável que a liderança de Seara nas três sondagens se possa dever a mera coincidência. Por outro lado, todas as sondagens terminaram o seu trabalho de campo pelo menos quatro (quando não quase 20) dias antes das eleições.
3. Oeiras: aqui as coisas complicam-se. A distinção telefónica/presencial não serve para nada, dado que a maior e menor vantagens de Isaltino são obtidas com sondagens muito semelhantes do ponto de vista da sua metodologia. O tempo? Talvez: mas o que terá feito com que, em pouco mais de uma semana, a vantagem de Isaltino se dilatasse em relação à sondagem feita pela Católica nos dias 24 e 25? Certo, certo é que, em rigor, a diferença entre 34 e 37% ou a diferença entre 33 e 26,5% se podem sempre dever a erro amostral. Aqui não tenho teorias nenhumas. Paciência.
4. Porto: em 2001, o Porto foi a némesis dos institutos de sondagens. Ninguém colocou Rui Rio à frente das intenções de voto. Desta vez, isso não vai acontecer, porque alguém se aproximará dos resultados. Mas quem? Há de tudo para quase todos os gostos: vitórias arrasadoras para Rui Rio (Marktest), vitórias modestas (Católica), empates com tendência Rio (Eurosondagem) e empates com tendência Assis (Intercampus). Precisamos só de uma sondagem que dê Assis a ganhar com 20 pontos de avanço para o menu ficar completo. À partida, diria que as diferenças parecem ser explicadas por dois factores (sem contar com o puro acaso):
- Mantendo constante o tempo, simulações de voto dão, tal como em Faro ou Sintra, piores resultados a quem está no poder. Por outras palavras, a coligação tem piores resultados na Católica do que na Marktest (dias 1 e 2), e piores resultados na Intercampus do que na Eurosondagem (dia 5).
- Mantendo constante o método de inquirição, quanto mais perto das eleições foi conduzido o trabalho de campo menor a vantagem de Rui Rio. O score da coligação é pior na Eurosondagem (dia 5) do que na Marktest (dia 1), e é também pior na Intercampus (dia 5) do que na Católica (dia 2).
5. Lisboa: lá aparece, novamente, o possível efeito do método de inquirição. Nas sondagens Católica e Marktest, quase contemporâneas, há piores resultados para o "incumbent" no caso em que se usaram simulações de voto. Nas sondagens Aximage, Intercampus e Eurosondagem, realizadas até mais tarde, a mesma coisa: telefónicas (Aximage e Eurosondagem) dão vantagem maior a Carmona.
Não quero fazer disto qualquer teoria geral, até porque a detecção de quaisquer efeitos da inquirição exigem que se utilizem outros controlos para além do tempo (dimensão da amostra, método de amostragem, etc.). Mas que parece haver aqui qualquer coisa, sistematicamente repetida em todos os concelhos (menos Oeiras), lá isso parece. Quanto ao tempo, a coisa é mais complicada, porque as sondagens de Lisboa estão a contar histórias diferentes: as que usam simulação de voto contam uma história em que Carrilho se aproxima de Carmona nos últimos dias; as que usam inquirição telefónica contam uma história em que nada muda ao longo dos últimos dias. Qual a história verdadeira? Domingo veremos.
Agora, votem bem.
O que temos, então?
1. Faro: apesar de haver uma sondagem que coloca PSD e PS par a par, essa sondagem foi conduzida há mais tempo que duas outras que convergem completamente numa vitória folgada do PS (Católica, primeiro, e Intercampus, uma semana depois). A não ser que a metodologia de inquirição usada por ambas esteja a produzir enviesamento (sendo que, para mim, o inverso é muito mais provável), Vitorino está de saída.
2. Sintra: aqui também se verifica um fenómeno semelhante a Faro. Fica a ideia de que, independentemente da data do trabalho de campo, os "incumbents" se saem pior em sondagens que utilizam simulação de voto em urna. Quanto ao que poderá vir a ser o resultado final, quem sabe? Por um lado, apesar de Seara e Soares estarem praticamente empatados em cada sondagem tomada individualmente, é improvável que a liderança de Seara nas três sondagens se possa dever a mera coincidência. Por outro lado, todas as sondagens terminaram o seu trabalho de campo pelo menos quatro (quando não quase 20) dias antes das eleições.
3. Oeiras: aqui as coisas complicam-se. A distinção telefónica/presencial não serve para nada, dado que a maior e menor vantagens de Isaltino são obtidas com sondagens muito semelhantes do ponto de vista da sua metodologia. O tempo? Talvez: mas o que terá feito com que, em pouco mais de uma semana, a vantagem de Isaltino se dilatasse em relação à sondagem feita pela Católica nos dias 24 e 25? Certo, certo é que, em rigor, a diferença entre 34 e 37% ou a diferença entre 33 e 26,5% se podem sempre dever a erro amostral. Aqui não tenho teorias nenhumas. Paciência.
4. Porto: em 2001, o Porto foi a némesis dos institutos de sondagens. Ninguém colocou Rui Rio à frente das intenções de voto. Desta vez, isso não vai acontecer, porque alguém se aproximará dos resultados. Mas quem? Há de tudo para quase todos os gostos: vitórias arrasadoras para Rui Rio (Marktest), vitórias modestas (Católica), empates com tendência Rio (Eurosondagem) e empates com tendência Assis (Intercampus). Precisamos só de uma sondagem que dê Assis a ganhar com 20 pontos de avanço para o menu ficar completo. À partida, diria que as diferenças parecem ser explicadas por dois factores (sem contar com o puro acaso):
- Mantendo constante o tempo, simulações de voto dão, tal como em Faro ou Sintra, piores resultados a quem está no poder. Por outras palavras, a coligação tem piores resultados na Católica do que na Marktest (dias 1 e 2), e piores resultados na Intercampus do que na Eurosondagem (dia 5).
- Mantendo constante o método de inquirição, quanto mais perto das eleições foi conduzido o trabalho de campo menor a vantagem de Rui Rio. O score da coligação é pior na Eurosondagem (dia 5) do que na Marktest (dia 1), e é também pior na Intercampus (dia 5) do que na Católica (dia 2).
5. Lisboa: lá aparece, novamente, o possível efeito do método de inquirição. Nas sondagens Católica e Marktest, quase contemporâneas, há piores resultados para o "incumbent" no caso em que se usaram simulações de voto. Nas sondagens Aximage, Intercampus e Eurosondagem, realizadas até mais tarde, a mesma coisa: telefónicas (Aximage e Eurosondagem) dão vantagem maior a Carmona.
Não quero fazer disto qualquer teoria geral, até porque a detecção de quaisquer efeitos da inquirição exigem que se utilizem outros controlos para além do tempo (dimensão da amostra, método de amostragem, etc.). Mas que parece haver aqui qualquer coisa, sistematicamente repetida em todos os concelhos (menos Oeiras), lá isso parece. Quanto ao tempo, a coisa é mais complicada, porque as sondagens de Lisboa estão a contar histórias diferentes: as que usam simulação de voto contam uma história em que Carrilho se aproxima de Carmona nos últimos dias; as que usam inquirição telefónica contam uma história em que nada muda ao longo dos últimos dias. Qual a história verdadeira? Domingo veremos.
Agora, votem bem.
Sondagens Faro, quadro final
Em sondagens que apresentaram percentagens de abstencionistas e indecisos, procedeu-se a redistribuição proporcional pelas opções válidas.
Sondagens Sintra, quadro final
Em sondagens que apresentaram percentagens de abstencionistas e indecisos, procedeu-se a redistribuição proporcional pelas opções válidas.
Sondagens Oeiras, quadro final
Em sondagens que apresentaram percentagens de abstencionistas e indecisos, procedeu-se a redistribuição proporcional pelas opções válidas.
Sondagens, Porto, quadro final
Em sondagens que apresentaram percentagens de abstencionistas e indecisos, procedeu-se a redistribuição proporcional pelas opções válidas.
Sondagens Lisboa, quadro final
Em sondagens que apresentaram percentagens de abstencionistas e indecisos, procedeu-se a redistribuição proporcional pelas opções válidas.
Autárquicas, Lisboa, actualização 3
Junta-se a sondagem Eurosondagem (para não confundir, mostram-se apenas as sondagens mais recentes de cada instituto):
Autárquicas, Porto, actualização 2
Adicionada sondagem Eurosondagem (e para não confundir, incluo apenas as mais recentes de cada instituto):
quinta-feira, outubro 06, 2005
Autárquicas, Porto, actualização
Com a sondagem Intercampus divulgada há duas horas:
O panorama é bastante confuso. Dois padrões (se é que de padrões se pode falar com apenas 4 sondagens):
1. Telefónicas beneficiam "incumbent", presenciais/simulação de voto beneficiam "challenger";
2. Quanto mais perto da data das eleições, pior para a coligação PSD/CDS-PP.
O panorama é bastante confuso. Dois padrões (se é que de padrões se pode falar com apenas 4 sondagens):
1. Telefónicas beneficiam "incumbent", presenciais/simulação de voto beneficiam "challenger";
2. Quanto mais perto da data das eleições, pior para a coligação PSD/CDS-PP.
Autárquicas, Lisboa, actualização 2
Com a sondagem de Intercampus divulgada há pouco mais de uma hora, as dúvidas adensam-se. A sondagem Católica sugeria uma vantagem para Carmona bem inferior à revelada pelas sondagens telefónicas mais recentes. Agora, a sondagem Intercampus, também feita presencialmente e com simulação de voto, dá Carmona e Carrilho empatados.
Autárquicas, Lisboa, actualização
Com a sondagem da Católica divulgada há minutos pela Antena 1, ficamos assim:
Em três sondagens realizadas no espaço de uma semana, a vantagem de Carmona oscila entre os 5 e os 16 pontos percentuais. É muito, mesmo tendo em conta as elevadas percentagens de indecisos que as sondagens estão a apanhar.
Em três sondagens realizadas no espaço de uma semana, a vantagem de Carmona oscila entre os 5 e os 16 pontos percentuais. É muito, mesmo tendo em conta as elevadas percentagens de indecisos que as sondagens estão a apanhar.
Autárquicas, Lisboa, ponto de situação
Sondagens divulgadas até hoje de manhã (como sempre, quando não redistribuem indecisos e abstencionistas, essa redistribuição foi feita proporcionalmente pelas opções válidas, de forma a tornar os resultados comparáveis)
Em suma, à excepção da Católica, um passeio para Carmona Rodrigues. Veremos...
Em suma, à excepção da Católica, um passeio para Carmona Rodrigues. Veremos...
Autárquicas, Porto, ponto de situação
OK, temos agora três sondagens:
Estou perplexo. O que faz a diferença? O método (telefónico vs. presencial)? Olhando para os resultados, parece inevitável concluir que sim, e não seria ilógico que sondagens com simulação de voto dessen vantagens muito menores a Rui Rio. Afinal, a experiência do passado tem sugerido que as sondagens telefónicas em autárquicas tendem a favorecer o "incumbent" e prejudicar a oposição (veja-se Sintra em 2001).
Mas há outra hipótese, o tempo, tendo em conta a diminuição dramática da vantagem de Rui Rio de Julho até agora da primeira para a segunda sondagem da Católica. Se forem divulgadas mais sondagens que tenham usado inquirição presencial e cujo trabalho de campo tenha sido conduzido depois do dia 2, e se a vantagem de Rui Rio diminuir ainda mais, eu, se fosse a ele, ficaria preocupado...
Estou perplexo. O que faz a diferença? O método (telefónico vs. presencial)? Olhando para os resultados, parece inevitável concluir que sim, e não seria ilógico que sondagens com simulação de voto dessen vantagens muito menores a Rui Rio. Afinal, a experiência do passado tem sugerido que as sondagens telefónicas em autárquicas tendem a favorecer o "incumbent" e prejudicar a oposição (veja-se Sintra em 2001).
Mas há outra hipótese, o tempo, tendo em conta a diminuição dramática da vantagem de Rui Rio de Julho até agora da primeira para a segunda sondagem da Católica. Se forem divulgadas mais sondagens que tenham usado inquirição presencial e cujo trabalho de campo tenha sido conduzido depois do dia 2, e se a vantagem de Rui Rio diminuir ainda mais, eu, se fosse a ele, ficaria preocupado...
Autárquicas, Porto, à espera
Já saiu a sondagem da Católica sobre o Porto:
Trabalho de campo nos dias 1 e 2 de Outubro, Estratificada Aleatória, simulação de voto, N=2392.
PSD/CDS-PP/MPT/PPM (Rui Rio): 43%
PS (Francisco Assis): 36%
CDU (Rui Sá): 7%
BE (Teixeira Lopes): 6%
Outros: 2%
Brancos/nulos: 5%
Mas, que eu saiba, não há mais nada de recente. Análise mais detalhada quando saírem as restantes sondagens (no mínimo, serão mais duas).
P.S. - É verdade que, no meio disto tudo, me vão chegando aos ouvidos os resultados das mais variadas sondagens de autoria desconhecida. Até já me chegaram os resultados de uma suposta "outra" sondagem da Católica, substancialmente diferentes daqueles divulgados pela RTP, RDP e Público. E até me chegaram a dizer que um dos candidatos teria em seu poder os resultados da Católica...antes de eu os ter. Um caso para esta revista.
Trabalho de campo nos dias 1 e 2 de Outubro, Estratificada Aleatória, simulação de voto, N=2392.
PSD/CDS-PP/MPT/PPM (Rui Rio): 43%
PS (Francisco Assis): 36%
CDU (Rui Sá): 7%
BE (Teixeira Lopes): 6%
Outros: 2%
Brancos/nulos: 5%
Mas, que eu saiba, não há mais nada de recente. Análise mais detalhada quando saírem as restantes sondagens (no mínimo, serão mais duas).
P.S. - É verdade que, no meio disto tudo, me vão chegando aos ouvidos os resultados das mais variadas sondagens de autoria desconhecida. Até já me chegaram os resultados de uma suposta "outra" sondagem da Católica, substancialmente diferentes daqueles divulgados pela RTP, RDP e Público. E até me chegaram a dizer que um dos candidatos teria em seu poder os resultados da Católica...antes de eu os ter. Um caso para esta revista.
terça-feira, outubro 04, 2005
Autárquicas, Oeiras, actualização
Com a introdução da sondagem da Marktest, eis a situação em Oeiras (em sondagens que apresentavam indecisos ou abstencionistas, foram redistribuidos proporcionalmente pelas restantes opções válidas):
Autárquicas, Sintra, ponto de situação
Creio que não ficaremos por aqui até ao final da semana e que haverá mais sondagens em Sintra.
Seja como for, a da Católica e a da Aximage significam, individualmente, empate técnico, mas vistas em conjunto sugerem vantagem para Fernando Seara (mas note-se a grande distância temporal entre elas). Acresce a isto que Seara tem uma vantagem bem mais expressiva no caso da Eurosondagem, acima da margem de erro amostral.
Contudo, são muito poucos casos para se poderem detectar quaisquer efeitos de métodos ou da passagem do tempo.
Comunicado
Como é hábito, circulam os mais variados boatos sobre sondagens que a Universidade Católica realizou ou realizará nestas eleições. Para os devidos efeitos, comunica-se que a Católica, para estas autárquicas, só fez ou fará sondagens em Lisboa, Porto, Oeiras, Sintra, Gondomar e Faro, acrescentando-se a estes concelhos Felgueiras no dia das eleições. Os resultados destas sondagens são divulgadas no jornal Público, na RTP e na Antena1. Qualquer afirmação de que o CESOP realizou ou realizará sondagens noutros concelhos é falsa.
Subscrever:
Mensagens (Atom)