Outras sondagens a merecer atenção são as das eleições no Reino Unido, que se realizarão, provavelmente, a 5 de Maio. O "Margens de Erro" deles - descontando aquilo que é, da minha parte, uma irresponsável imodéstia - é o magnífico blog de Anthony Wells, UK Polling Report.
As sondagens em Inglaterra são interessantes por várias razões. Em primeiro lugar, há sobre elas uma produção académica vastíssima, comparável apenas àquela que existe sobre as sondagens nos Estados Unidos. Segundo, há uma tradição de "experimentalismo" metodológico nas sondagens inglesas, também ela só comparável ao que sucede nos EUA. Temos, por exemplo, o caso da YouGov, que faz sondagens pela internet, tendo por base um painel de 40.000 pessoas, do qual se extraem de cada vez amostras aleatórias de cerca de 2000 inquiridos (remunerados para o efeito). E há agora uma outra empresa (creio ser a Rasmussen) que importou a sua prática americana e conduz sondagens telefónicas "automatizadas", ou seja, feitas por um computador em vez de um inquiridor humano, e que permite que as respostas sejam dadas através das teclas do telefone. Cépticos? Vejam isto.
Contudo - e voltaremos a falar disto quando nos aproximarmos da data das eleições - atenção ao sistema eleitoral inglês. A distorção entre votos e assentos parlamentares é enorme, e hoje em dia é favorável aos Trabalhistas. Ou seja:
- os assentos parlamentares são apurados círculo a círculo, por sistema maioritário;
- tendencialmente, os círculos onde os Conservadores costumam ganhar são círculos onde ganham com enorme vantagem sobre os Trabalhistas;
- pelo contrário, os círculos onde os Trabalhistas costuma ganhar são círculos onde os Conservadores são close seconds;
- os círculos Trabalhistas tendem a exibir maiores taxas de abstenção;
- a última revisão do desenho geográfico e composição política dos círculos foi favorável aos Trabalhistas.
Logo, uma votação 35%-34% favorável aos Trabalhistas, como a que resulta da última sondagem YouGov (24 Março), por exemplo, significa, na prática, uma vantagem muito maior em termos de deputados. Ou para ser mais preciso: o Labour pode até perder em número de votos e ganhar confortavelmente em deputados.
Tudo isto foi muito bem explicado, há dias, por Nick Moon, aqui.
segunda-feira, março 28, 2005
Autárquicas
As sondagens para as autárquicas já mexem. A razão para o silêncio até agora é simples, e parecida com a que levou ao atraso nas contas finais: falta de tempo. Mas vou estar mais atento e, já agora, peço um favor: dado que me é mais difícil seguir a imprensa local, ficaria muito agradecido se fizessem chegar as sondagens que vão encontrando.
Para já, recebi este amável e-mail:
No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).
A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.
Para já, recebi este amável e-mail:
No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).
A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.
Outros métodos
Há, no entanto, quem critique o uso do "método 3". Por um lado, o "método 3" continua a estar dependente do número de estimativas contabilizadas para medir a precisão das sondagens, o que pode impedir comparações internacionais (especialmente com aqueles países com sistemas maioritários, onde as estimativas que contam são as dos dois principais partidos, e não as dos quatro ou cinco maiores). Logo, em vez de calcular médias, este método consiste simplesmente em alinhar as sondagens de acordo com os maiores erros cometidos na estimação de um qualquer partido. Assim, e na base do quadro anterior, ficamos com:
Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%
Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:
O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).
E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...
Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%
Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:
O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).
E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...
Método 3, segunda parte
Sucede, contudo, que há um aspecto da comparabilidade que é afectado pelo uso do método 3. A "média dos desvios absolutos" é muito sensível ao número de partidos incluídos na análise. Quanto maior o número de partidos, mais baixo deverá ser o valor do desvio médio, dado que ele passará a contar com estimativas de valores reais mais baixos e, logo, com menores margens de erro amostrais associadas.
Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":
Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%
Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:
1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;
2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).
2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).
Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":
Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%
Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:
1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;
2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).
2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).
Contas finais. Método 3.
Um mês sem posts. Violada assim a principal regra de um bom blog. Fui para fora depois das eleições, muito trabalho, etc. Seja como for, não queria deixar de fazer a análise final das sondagens realizadas antes das últimas eleições, desta vez com resultados definitivos, incluindo círculos "Europa" e "Fora da Europa". Foram eles os seguintes (para os partidos cujos resultados foram estimados pelas sondagens):
PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%
Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]
1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.
Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:
Deste ponto de vista:
1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)
A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:
1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.
PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%
Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]
1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.
Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:
Deste ponto de vista:
1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)
A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:
1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.
Subscrever:
Mensagens (Atom)