Outras sondagens a merecer atenção são as das eleições no Reino Unido, que se realizarão, provavelmente, a 5 de Maio. O "Margens de Erro" deles - descontando aquilo que é, da minha parte, uma irresponsável imodéstia - é o magnífico blog de Anthony Wells, UK Polling Report.
As sondagens em Inglaterra são interessantes por várias razões. Em primeiro lugar, há sobre elas uma produção académica vastíssima, comparável apenas àquela que existe sobre as sondagens nos Estados Unidos. Segundo, há uma tradição de "experimentalismo" metodológico nas sondagens inglesas, também ela só comparável ao que sucede nos EUA. Temos, por exemplo, o caso da YouGov, que faz sondagens pela internet, tendo por base um painel de 40.000 pessoas, do qual se extraem de cada vez amostras aleatórias de cerca de 2000 inquiridos (remunerados para o efeito). E há agora uma outra empresa (creio ser a Rasmussen) que importou a sua prática americana e conduz sondagens telefónicas "automatizadas", ou seja, feitas por um computador em vez de um inquiridor humano, e que permite que as respostas sejam dadas através das teclas do telefone. Cépticos? Vejam isto.
Contudo - e voltaremos a falar disto quando nos aproximarmos da data das eleições - atenção ao sistema eleitoral inglês. A distorção entre votos e assentos parlamentares é enorme, e hoje em dia é favorável aos Trabalhistas. Ou seja:
- os assentos parlamentares são apurados círculo a círculo, por sistema maioritário;
- tendencialmente, os círculos onde os Conservadores costumam ganhar são círculos onde ganham com enorme vantagem sobre os Trabalhistas;
- pelo contrário, os círculos onde os Trabalhistas costuma ganhar são círculos onde os Conservadores são close seconds;
- os círculos Trabalhistas tendem a exibir maiores taxas de abstenção;
- a última revisão do desenho geográfico e composição política dos círculos foi favorável aos Trabalhistas.
Logo, uma votação 35%-34% favorável aos Trabalhistas, como a que resulta da última sondagem YouGov (24 Março), por exemplo, significa, na prática, uma vantagem muito maior em termos de deputados. Ou para ser mais preciso: o Labour pode até perder em número de votos e ganhar confortavelmente em deputados.
Tudo isto foi muito bem explicado, há dias, por Nick Moon, aqui.
segunda-feira, março 28, 2005
Autárquicas
As sondagens para as autárquicas já mexem. A razão para o silêncio até agora é simples, e parecida com a que levou ao atraso nas contas finais: falta de tempo. Mas vou estar mais atento e, já agora, peço um favor: dado que me é mais difícil seguir a imprensa local, ficaria muito agradecido se fizessem chegar as sondagens que vão encontrando.
Para já, recebi este amável e-mail:
No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).
A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.
Para já, recebi este amável e-mail:
No Porto já há sondagem que ferve a propósito da campanha autárquica e não há sítio nenhum onde a gente se informe sobre o entorno técnico-científico dos trabalhos. Por exemplo parece-lhe lícito desagregar à freguesia uma sondagem concelhia com cerca de 700 inquiridos por telefone e cerca de 500 respostas validadas? Na freguesia de Miragaia faziam-se alegremente percentagens sobre 8 (oito) respostas ( ver o ‘Comércio do Porto’ de 3ª feira, 22 de Março).
A resposta à pergunta é, como o autor do e-mail certamente já intuia, NÃO. Uma amostra de 700 inquiridos pode, no seu conjunto, ser representativa de um concelho, dentro dos limites da margem de erro amostral respectiva e das outras potenciais fontes de erro. Mas ser representativa do conjunto não significa, claro, que as sub-amostras obtidas a qualquer nível de desagregação (freguesia, "zona", nível de instrução, etc.) sejam representativas do respectivo sub-grupo. Quando muito, são representativas tendo em conta a respectiva margem de erro amostral máxima, que no caso apontado de Miragaia é de + ou - ...35%... Um erro muito comum nas análises das sondagens feitas na imprensa.
Outros métodos
Há, no entanto, quem critique o uso do "método 3". Por um lado, o "método 3" continua a estar dependente do número de estimativas contabilizadas para medir a precisão das sondagens, o que pode impedir comparações internacionais (especialmente com aqueles países com sistemas maioritários, onde as estimativas que contam são as dos dois principais partidos, e não as dos quatro ou cinco maiores). Logo, em vez de calcular médias, este método consiste simplesmente em alinhar as sondagens de acordo com os maiores erros cometidos na estimação de um qualquer partido. Assim, e na base do quadro anterior, ficamos com:
Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%
Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:
O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).
E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...
Aximage:1,6%
Intercampus: 1,7%
Católica:1,7%
IPOM:1,9%
Marktest:2,3%
Euroteste:2,4%
Por outro lado, o método 3 é também criticado por fazer imposições ilegítimas a quem divulga os resultados das sondagens, em particular a redistribuição de indecisos a quem decidiu não o fazer.
Para isso, existe o método 5. Este método consiste em medir a precisão das sondagens apenas do ponto de vista da sua capacidade para estimarem a margem de vitória, e tomando com bons os resultados tal como apresentados pelas empresas de sondagens. Ficamos assim com o seguinte quadro:
O IPOM tem novamente a sondagem mais precisa. A média dos erros absolutos "método 5" é de 2,2%, o mais baixo desde 1991 (em 2002 foi de 2,7%).
E pronto, estão feitas as contas finais. É verdade que há outras maneiras de comparar sondagens entre si e com resultados eleitorais, mas estas são as mais conhecidas e estabelecidas [ver Mitofsky, W. J. (1998). Was 1996 a worse year for polls than 1948? Public Opinion Quarterly, 62, 230–249]. Os resultados são, em geral, extremamente positivos, quer numa comparação com o percurso passado das sondagens em Portugal quer no plano internacional. Espera-se que seja para continuar...
Método 3, segunda parte
Sucede, contudo, que há um aspecto da comparabilidade que é afectado pelo uso do método 3. A "média dos desvios absolutos" é muito sensível ao número de partidos incluídos na análise. Quanto maior o número de partidos, mais baixo deverá ser o valor do desvio médio, dado que ele passará a contar com estimativas de valores reais mais baixos e, logo, com menores margens de erro amostrais associadas.
Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":
Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%
Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:
1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;
2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).
2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).
Uma das maneiras de contornar o problema, pelo menos para comparações em Portugal, é calcular o "erro método 3" sempre com o mesmo número de partidos. Neste caso, se quisermos comparar com as sondagens feitas desde 1991, a única maneira de fazer isto é calcularmos o erro apenas para os quatro principais partidos. Feitas as contas (recalculando os resultados eleitorais de forma a que a soma dos quatro principais partidos dê 100%, fazendo o mesmo para as estimativas das sondagens, retirando as casas decimais destas últimas, etc.), ficamos com os seguintes erros "método 3":
Intercampus:0,2%
Euroteste:1,3%
Católica:0,6%
Eurosondagem:0,9%
Aximage:0,4%
Marktest:1,1%
IPOM:0,6%
Média dos erros "método 3" (apenas 4 principais partidos"): 0,7%
Podemos agora fazer comparações com o passado, ou seja, com as sondagens feitas para as eleições legislativas desde 1991:
1. Entre as 28 sondagens pré-eleitorais (contando apenas com as últimas divulgadas por cada órgãos de comunicação) divulgadas desde as eleições de 1991 até às eleições de 2002, o menor erro médio para os quatro principais partidos era de 0,7% (uma sondagem da Eurosondagem em 1999). Acontece que, nas eleições de 2005, houve quatro sondagens mais precisas que essa, sendo que a da Intercampus é a mais precisa de sempre;
2. As sete sondagens de 2005 fazem parte da lista das 11 sondagens mais precisas de sempre (pelo menos, desde 1991). Nesta lista das mais precisas de sempre, só se intrometem quatro sondagens feitas noutro ano que não 2005: Eurosondagem em 1999 (0,7%), Metris em 1995 (0,9%), Católica em 2002 e IPSOS em 1995 (1,4%).
2. Antes de 2005, as eleições legislativas que, em média, tiveram as sondagens mais precisas deste ponto de vista foram as de 1995 (média dos erros "método 3" =1,8%). Em 2005, esse erro médio foi trazido a menos de metade (0,7%).
Contas finais. Método 3.
Um mês sem posts. Violada assim a principal regra de um bom blog. Fui para fora depois das eleições, muito trabalho, etc. Seja como for, não queria deixar de fazer a análise final das sondagens realizadas antes das últimas eleições, desta vez com resultados definitivos, incluindo círculos "Europa" e "Fora da Europa". Foram eles os seguintes (para os partidos cujos resultados foram estimados pelas sondagens):
PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%
Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]
1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.
Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:
Deste ponto de vista:
1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)
A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:
1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.
PS: 45,0%
PSD: 28,8%
CDU: 7,5%
CDS-PP:7,2%
BE:6,4%
Como se comparam estes resultados com a sondagens? Para fazer as coisas completamente by the book, uma primeira hipótese é o chamado "Método 3", assim designado porque é um dos muitos métodos avançados por um famoso estudo do Social Science Research Council após o fiasco das sondagens americanas de 1948 [ Mosteller, F., Hyman, H., McCarthy, P. J., Marks, E. S., & Truman, D. B. (1949). The pre-election polls of 1948. New York: Social Science Research Council)]. Este método consiste em calcular a média dos desvios absolutos entre o resultado eleitoral de cada um os principais partidos e a estimativa fornecida pelas sondagens. Para este cálculo, o procedimento geralmente utilizado consiste em fazer as seguintes operações [ver: Traugott, M. W. (2001). Assessing poll performance in the 2000 campaign. Public Opinion Quarterly, 65, 389–119.]
1. Como nem todas as sondagens fornecem estimativas para outros partidos, brancos ou nulos, quer os resultados eleitorais quer as estimativas das sondagens devem ser recalculados de forma a que a soma dos principais partidos dê 100%;
2. Como as sondagens divergem na apresentação de casas decimais, as estimativas das sondagens são todas arrendondadas a números inteiros. O mesmo não sucede, claro, com os resultados eleitorais propriamente ditos.
3. Calcula-se depois o desvio absoluto entre os resultados e as estimativas assim recalculadas, e o erro "método 3" é a média desses desvios absolutos.
Ficamos então com o seguinte quadro geral para as sondagens pré-eleitorais de 2005:
Deste ponto de vista:
1. A sondagem do IPOM foi a que mais se aproximou dos resultados finais.
2. Seja como for, as diferenças entre as sondagens revelam-se como sendo mínimas;
3. A única tendência clara de enviesamento em relação a um qualquer partido é, como já se tinha dito, a sobreestimação do PSD (em 6 das 7 sondagens)
A primeira conclusão pode gerar alguma perplexidade, especialmente se confrontada com este post. Contudo, importa não esquecer que:
1. Estes cálculos são feitos com os resultados finais;
2. Estes cálculos lidam com estimativas sem casas decimais, reestabelecendo igualdade entre as diferentes sondagens;
3. Estes cálculos penalizam as empresas que fizeram "piores estimativas" (por omissão) dos resultados dos outros partidos, votos brancos e votos nulos.
4. Seja como for, goste-se ou não deles, estes critérios são by the book, ou seja, são os usados noutros países e noutras eleições, permitindo comparabilidade.
terça-feira, fevereiro 22, 2005
Adenda ao rescaldo: só para fanáticos
Para se ver como as coisas são, bastou o apuramento de três freguesias em falta para que o ranking das sondagens pré-eleitorais ficasse ligeiramente modificado. Nada disto é especialmente importante, mas a bem da precisão, uma correcção a este post:
1. A média dos desvios absolutos entre os resultados mais baixa encontrada nas sete sondagens é de 0,7%, e pertence à Eurosondagem e à Intercampus. A primeira acertou quase em cheio na percentagem do PS, da CDU e do BE, e apenas sobrestimou claramente o PSD. A segunda acertou quase em cheio na CDU e no CDS, e teve erros baixos nos restantes. Seguiram-se, por ordem crescente de erro médio, a Aximage (0,8%), o IPOM (1,0%), a Católica (1,1%) e finalmente, empatadas, a Marktest e a Euroteste (1,2%).
2. Quanto ao segundo critério normalmente usado (margem de vitória), quem mais se aproximou foi o IPOM (16%, contra os 16,2% reais). Seguem-se a Intercampus (15,6%), a Aximage (17,2%), a Católica (15%), a Eurosondagem (14%), a Marktest (19,2%) e a Euroteste (12%).
Isto é, repito, só mesmo para fanáticos. E para os que aí andam, que eu sei que andam, prometo fazer o quadro final assim que houver resultados eleitorais definitivos.
1. A média dos desvios absolutos entre os resultados mais baixa encontrada nas sete sondagens é de 0,7%, e pertence à Eurosondagem e à Intercampus. A primeira acertou quase em cheio na percentagem do PS, da CDU e do BE, e apenas sobrestimou claramente o PSD. A segunda acertou quase em cheio na CDU e no CDS, e teve erros baixos nos restantes. Seguiram-se, por ordem crescente de erro médio, a Aximage (0,8%), o IPOM (1,0%), a Católica (1,1%) e finalmente, empatadas, a Marktest e a Euroteste (1,2%).
2. Quanto ao segundo critério normalmente usado (margem de vitória), quem mais se aproximou foi o IPOM (16%, contra os 16,2% reais). Seguem-se a Intercampus (15,6%), a Aximage (17,2%), a Católica (15%), a Eurosondagem (14%), a Marktest (19,2%) e a Euroteste (12%).
Isto é, repito, só mesmo para fanáticos. E para os que aí andam, que eu sei que andam, prometo fazer o quadro final assim que houver resultados eleitorais definitivos.
segunda-feira, fevereiro 21, 2005
Até breve
Desde o dia 6 de Janeiro, este blogue teve 36.000 visitas e 57.000 page views. Não percebo muito disto, mas dizem-me que não é nada mau. O objectivo era simples: dizer aqui, sobre as sondagens, o que raramente se pode dizer noutros meios de comunicação. Discutir resultados e métodos, chamar a atenção para limitações, descobrir o que as sondagens dizem e (especialmente) o que não dizem. Espero que tenha sido útil.
Mas o melhor de tudo não foi o que aqui dei, mas sim o que recebi. As mensagens que me chegaram e os posts noutros blogues a propósito do que aqui se escreveu levantaram-me problemas em que nunca tinha pensado. Obrigado a todos.
Dito isto, este blogue não acaba aqui. Há sondagens e questões à volta da opinião pública para discutir para além das eleições. Vai simplesmente passar para um ritmo mais lento (pelo menos até Outubro!). Até breve.
Mas o melhor de tudo não foi o que aqui dei, mas sim o que recebi. As mensagens que me chegaram e os posts noutros blogues a propósito do que aqui se escreveu levantaram-me problemas em que nunca tinha pensado. Obrigado a todos.
Dito isto, este blogue não acaba aqui. Há sondagens e questões à volta da opinião pública para discutir para além das eleições. Vai simplesmente passar para um ritmo mais lento (pelo menos até Outubro!). Até breve.
A Católica
Não estou nada infeliz, mas também já tive dias melhores. Nas Presidenciais de 2001, Legislativas de 2002 e Europeias de 2004, as sondagens pré-eleitorais da Católica tinham tido os menores desvios médios em relação aos resultados finais. Nas sondagens de boca das urnas, continuamos a nossa amistosa competição com a Intercampus (nós os mais precisos nas Presidenciais de 2001, eles nas Legislativas de 2002, nós nas Europeias de 2004, e eles agora). Mas a nossa sondagem pré-eleitoral, desta vez, pecou por excesso no BE e por defeito no CDS. Pode ser fruto do acaso, tendo em conta o erro amostral. Mas não estou convencido. Parabéns a quem esteve mais perto e, nós, de volta para o drawing board a ver o que correu menos bem e como se pode fazer melhor.
Rescaldo da "mega-fraude"
Aqui, tinha dito que as sondagens publicadas antes destas eleições eram as que menos se distinguiam entre si, pelo menos desde 1991, ficando em aberto a questão se saber se estavam todas igualmente "erradas" ou, no fundamental, igualmente "certas". A questão já tem resposta: as sondagens de 2005 foram as mais precisas alguma vez conduzidas na história da democracia portuguesa.
A "média dos desvios absolutos médios" entre os resultados eleitorais e as estimativas apresentadas pelas sondagens é a menor de sempre: 1% (com Aximage, Eurosondagem e Intercampus com apenas 0,8%). A margem de vitória do PS foi, em média, subestimada em 1,8%, também o menor valor de sempre (sendo que o IPOM a sobrestimou em apenas 0,3%). Afinal, o maior erro destas sondagens pré-eleitorais foi o de terem, em média, sobrestimado o PSD em 1,3%. Ironias do destino.
Deste ponto de vista, as sondagens à boca das urnas divulgadas às 20.0hh desiludem um pouco. Se tomarmos o ponto central de cada um dos intervalos apresentados como representando a "melhor estimativa", quase que se poderia dizer que foram menos precisas que as sondagens de véspera: a "média dos desvios absolutos médios" foi de 1,2% (Intercampus, 0,6%; Católica, 1,2%; Eurosondagem, 1,8%), enquanto que a margem de vitória do PS foi, desta vez, sobrestimada por todos (em média, 4,3%, com a Eurosondagem a sobrestimá-la em 7,3%).
Seria muito importante, aliás, que se reflectisse sobre o efeito que as acusações que foram feitas às sondagens tiveram na subestimação do eleitorado do PSD nas sondagens à boca das urnas, se é que tiveram algum. Quando um líder de um partido acusa colectivamente todas as empresas de sondagens de estarem envolvidas numa "mega fraude", é apenas natural que muitos eleitores desse partido se recusem a colaborar com essas empresas, especialmente quando a escolha dos inquiridos deixa de ser aleatória e passa a depender mais de algum voluntarismo na colaboração à saída dos locais de voto. As consequências mais graves deste tipo de acusações ficam para quem as faz, e a melhor resposta que se pode dar está nos resultados. Mas os institutos também são afectados por estas acusações, não só no que respeita às eleições, mas também em relação a todo um mundo de estudos académicos, de opinião e de mercado. Fazer sondagens depende crucialmente da colaboração dos inquiridos, e houve danos causados pelas afirmações de Santana Lopes que, sendo difíceis de estimar, são certamente reais.
As dúvidas existenciais estão também esclarecidas:
1. Houve maioria absoluta, tal como previsto por seis das sete sondagens. Podia não ter havido, claro. Mas parece-me que, como aqui sugeri, o aumento da participação ajudou. Assim, em grande medida, passou-se o oposto do que tinha sucedido em 1999.
2. Fim da "subestimação do CDS". Duas sondagens subestimaram o CDS, as restantes sobrestimaram-no, e nuns e noutros casos em valores inferiores às margens de erro amostral associadas a cada estimativa.
3. Possível sobrestimação do BE: todos apanharam a subida acentuada do Bloco, uns subestimando-a ligeiramente, outros sobrestimando-a, mas em todos os casos, também dentro da margem de erro amostral associada às estimativas.
Em resumo: continua a tendência de melhoria da precisão das estimativas apresentadas pelas sondagens. Amostras de maiores dimensões, maior esforço em detectar votantes prováveis, baixa da abstenção, quase tudo ajudou.
A "média dos desvios absolutos médios" entre os resultados eleitorais e as estimativas apresentadas pelas sondagens é a menor de sempre: 1% (com Aximage, Eurosondagem e Intercampus com apenas 0,8%). A margem de vitória do PS foi, em média, subestimada em 1,8%, também o menor valor de sempre (sendo que o IPOM a sobrestimou em apenas 0,3%). Afinal, o maior erro destas sondagens pré-eleitorais foi o de terem, em média, sobrestimado o PSD em 1,3%. Ironias do destino.
Deste ponto de vista, as sondagens à boca das urnas divulgadas às 20.0hh desiludem um pouco. Se tomarmos o ponto central de cada um dos intervalos apresentados como representando a "melhor estimativa", quase que se poderia dizer que foram menos precisas que as sondagens de véspera: a "média dos desvios absolutos médios" foi de 1,2% (Intercampus, 0,6%; Católica, 1,2%; Eurosondagem, 1,8%), enquanto que a margem de vitória do PS foi, desta vez, sobrestimada por todos (em média, 4,3%, com a Eurosondagem a sobrestimá-la em 7,3%).
Seria muito importante, aliás, que se reflectisse sobre o efeito que as acusações que foram feitas às sondagens tiveram na subestimação do eleitorado do PSD nas sondagens à boca das urnas, se é que tiveram algum. Quando um líder de um partido acusa colectivamente todas as empresas de sondagens de estarem envolvidas numa "mega fraude", é apenas natural que muitos eleitores desse partido se recusem a colaborar com essas empresas, especialmente quando a escolha dos inquiridos deixa de ser aleatória e passa a depender mais de algum voluntarismo na colaboração à saída dos locais de voto. As consequências mais graves deste tipo de acusações ficam para quem as faz, e a melhor resposta que se pode dar está nos resultados. Mas os institutos também são afectados por estas acusações, não só no que respeita às eleições, mas também em relação a todo um mundo de estudos académicos, de opinião e de mercado. Fazer sondagens depende crucialmente da colaboração dos inquiridos, e houve danos causados pelas afirmações de Santana Lopes que, sendo difíceis de estimar, são certamente reais.
As dúvidas existenciais estão também esclarecidas:
1. Houve maioria absoluta, tal como previsto por seis das sete sondagens. Podia não ter havido, claro. Mas parece-me que, como aqui sugeri, o aumento da participação ajudou. Assim, em grande medida, passou-se o oposto do que tinha sucedido em 1999.
2. Fim da "subestimação do CDS". Duas sondagens subestimaram o CDS, as restantes sobrestimaram-no, e nuns e noutros casos em valores inferiores às margens de erro amostral associadas a cada estimativa.
3. Possível sobrestimação do BE: todos apanharam a subida acentuada do Bloco, uns subestimando-a ligeiramente, outros sobrestimando-a, mas em todos os casos, também dentro da margem de erro amostral associada às estimativas.
Em resumo: continua a tendência de melhoria da precisão das estimativas apresentadas pelas sondagens. Amostras de maiores dimensões, maior esforço em detectar votantes prováveis, baixa da abstenção, quase tudo ajudou.
sexta-feira, fevereiro 18, 2005
Dúvidas existenciais (terceira)
O crescimento do BE. Estou um bocado cansado, pelo que vou ser sintético.
1. Em relação ao que teve em 2002, acho que restam poucas dúvidas que o BE vai crescer bastante em termos proporcionais.
2. Como disse sobre a CDU e o CDS-PP, a questão da "ordem relativa" dos partidos é uma questão a que, na verdade, as sondagens não estão a responder, nem podem.
3. Dito isto, acho que há três riscos bem presentes de sobrestimação:
- sobrevalorização do eleitorado urbano;
- não tomar em conta que, nos círculos mais pequenos, os eleitores têm de ser mais estratégicos para eleger deputados e que, logo, podem abandonar o BE à última hora;
- a possibilidade de que as intenções de voto recolhidas sejam meramente "expressivas" e de "protesto" e que, logo, não se realizem no dia das eleições, especialmente entre os eleitores mais jovens.
4. Mas dito isto, mais uma vez: quando as teorias são pouco sólidas, o melhor é ignorá-las e dar o resultado que a amostradeu. O resto são palpites, que podem ou não funcionar. Mas se queremos prever resultados com palpites o melhor é deixar de fazer sondagens.
1. Em relação ao que teve em 2002, acho que restam poucas dúvidas que o BE vai crescer bastante em termos proporcionais.
2. Como disse sobre a CDU e o CDS-PP, a questão da "ordem relativa" dos partidos é uma questão a que, na verdade, as sondagens não estão a responder, nem podem.
3. Dito isto, acho que há três riscos bem presentes de sobrestimação:
- sobrevalorização do eleitorado urbano;
- não tomar em conta que, nos círculos mais pequenos, os eleitores têm de ser mais estratégicos para eleger deputados e que, logo, podem abandonar o BE à última hora;
- a possibilidade de que as intenções de voto recolhidas sejam meramente "expressivas" e de "protesto" e que, logo, não se realizem no dia das eleições, especialmente entre os eleitores mais jovens.
4. Mas dito isto, mais uma vez: quando as teorias são pouco sólidas, o melhor é ignorá-las e dar o resultado que a amostradeu. O resto são palpites, que podem ou não funcionar. Mas se queremos prever resultados com palpites o melhor é deixar de fazer sondagens.
Dúvidas existenciais (segunda)
O CDS-PP e a CDU. Estou ciente da surpresa causada pelo facto de o CDS-PP aparecer, em todas as sondagens, com resultados inferiores aos das eleições de 2002. Pelo facto de, em quatro das sete sondagens, o CDS-PP aparecer com resultados iguais ou inferiores aos da CDU. E ainda mais ciente do choque causado pelo facto do CDS-PP surgir em duas sondagens como o 5ª partido.
Sobre isto, algumas notas:
1. Estas "posições relativas" dos partidos geram notícias de jornal, tais como aquelas que são motivadas pela "maioria absoluta" (conclusão que, como espero que tenha ficado do post anterior, é ilegítima, ou pelo menos tão ilegítima como o seu contrário). Mas queria notar, sem querer outra vez ser excessivamente defensivo, que a mais baixa margem de erro amostral associada por qualquer uma destas sondagens à estimativa de um ou outro partido é de + ou - 0,7% (outra vez Católica, estimativa do CDS, 6%). Façam as contas e verão como, pura e simplesmente na base do erro amostral, nenhuma sondagem diz que partido estava à frente nas intenções de voto quando a sondagem foi conduzida, o CDS-PP ou a CDU. Elas dizem apenas o que encontraram na amostra. Mas na inferência da amostra para a realidade, nenhuma está de facto a medir uma diferença estatisticamente significativa entre o CDS-PP e a CDU. Em rigor, eles estão empatados, em todas as sondagens.
2. Estou também ciente - e o Dr. Paulo Portas faz sempre questão de o recordar - que CDS-PP tem sido desvalorizado por todas as sondagens desde 1999. E estou convicto que, tal como sugeri aqui e aqui, alguns institutos estão a tomar isso em conta nos resultados que estão a fornecer.
3. Mas noto com surpresa já aqui mencionada, que as sondagens telefónicas estão desta vez a dar mais (e não menos) expressão eleitoral ao CDS (8%, contra 7% das presenciais e com simulação de voto), facto que parece destruir a teoria da subestimação causada por subestimação do voto rural ou voto oculto.
4. Logo, se assim é, creio que o melhor é não ter quaisquer teorias. O melhor é confiar nos resultados que surgem da amostra, e pronto. Depois, logo se vê.
5. E dito isto, sem querer substituir teorias destruídas com novas teorias construídas ad hoc, ficam duas perguntas:
- será que é compensador a um partido, que cresceu eleitoralmente na base da captação de um eleitorado conservador, composto de uma singular mistura de elites económicas e eleitores socialmente desfavorecidos, começar a fazer de conta que é um partido "moderado", "de governo", "centrista" e da "classe média"?
- será que um partido, mesmo que parceiro menor de uma coligação, consegue escapar incólume à participação no governo mais impopular de que há memória?
Veremos.
Sobre isto, algumas notas:
1. Estas "posições relativas" dos partidos geram notícias de jornal, tais como aquelas que são motivadas pela "maioria absoluta" (conclusão que, como espero que tenha ficado do post anterior, é ilegítima, ou pelo menos tão ilegítima como o seu contrário). Mas queria notar, sem querer outra vez ser excessivamente defensivo, que a mais baixa margem de erro amostral associada por qualquer uma destas sondagens à estimativa de um ou outro partido é de + ou - 0,7% (outra vez Católica, estimativa do CDS, 6%). Façam as contas e verão como, pura e simplesmente na base do erro amostral, nenhuma sondagem diz que partido estava à frente nas intenções de voto quando a sondagem foi conduzida, o CDS-PP ou a CDU. Elas dizem apenas o que encontraram na amostra. Mas na inferência da amostra para a realidade, nenhuma está de facto a medir uma diferença estatisticamente significativa entre o CDS-PP e a CDU. Em rigor, eles estão empatados, em todas as sondagens.
2. Estou também ciente - e o Dr. Paulo Portas faz sempre questão de o recordar - que CDS-PP tem sido desvalorizado por todas as sondagens desde 1999. E estou convicto que, tal como sugeri aqui e aqui, alguns institutos estão a tomar isso em conta nos resultados que estão a fornecer.
3. Mas noto com surpresa já aqui mencionada, que as sondagens telefónicas estão desta vez a dar mais (e não menos) expressão eleitoral ao CDS (8%, contra 7% das presenciais e com simulação de voto), facto que parece destruir a teoria da subestimação causada por subestimação do voto rural ou voto oculto.
4. Logo, se assim é, creio que o melhor é não ter quaisquer teorias. O melhor é confiar nos resultados que surgem da amostra, e pronto. Depois, logo se vê.
5. E dito isto, sem querer substituir teorias destruídas com novas teorias construídas ad hoc, ficam duas perguntas:
- será que é compensador a um partido, que cresceu eleitoralmente na base da captação de um eleitorado conservador, composto de uma singular mistura de elites económicas e eleitores socialmente desfavorecidos, começar a fazer de conta que é um partido "moderado", "de governo", "centrista" e da "classe média"?
- será que um partido, mesmo que parceiro menor de uma coligação, consegue escapar incólume à participação no governo mais impopular de que há memória?
Veremos.
Dúvidas existenciais (primeira)
Num post anterior, escrevi que "há várias questões cuja resposta, creio, não é dada por nenhuma destas sondagens com qualquer razoável margem de confiança:
1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002."
Ora bem. Para além do que possa ter a ver com o futuro de Santana Lopes, a margem de vitória tem uma importância relativa, excepto na medida em que se relaciona com os ponto 1 e 3 (em particular na relação de votos PSD-CDS/PP).
Ficamos assim com três questões fundamentais. Questões para as quais, lamento, estas sondagens não dão respostas definitivas. Vamos à primeira.
Maioria absoluta? Os resultados apresentados oscilam entre os 43% e os 47%. Por assim dizer, entre maioria relativa e maioria absoluta. Para além disso, mesmo que tenhamos uma crença especial na capacidade de uma sondagem em particular para estimar resultados, a margem de erro amostral associada a cada uma delas faz com que seja difícil responder à questão. Tomemos aquela em que eu acredito mais, ou seja (surprise) a da Católica. É preciso recordarmos que a estimativa de 46% significa, tomando em conta a margem de erro amostral, um valor entre 44,6% e 47,4%. Ou seja, potencialmente, a diferença entre a maioria relativa e a maioria absoluta. Para as restantes sondagens, com amostras menores, o problema, por maioria de razão, também existe. E o seu trabalho de campo foi realizado, na maioria dos casos, uma semana antes das eleições. E há, pelo menos na sondagem da Católica, 12% de indecisos.
Logo, não se sabe se haverá ou não maioria absoluta. Ou melhor: nem sequer é possível dizer se, no momento em que se fez o trabalho de campo, haveria ou não uma maioria absoluta. Não pensem que estou a ser propositadamente defensivo, a proteger as sondagens de possíveis "fracassos" ou coisa parecida. É preciso perceber que as sondagens têm limites. Um deles é este.
Dito isto, o meu palpite, se tivesse mesmo de dar um, é o seguinte: se a abstenção descer significativamente, o PS chega lá. A razão está aqui.
1. Maioria absoluta ou não;
2. Margem de vitória;
3. Posição relativa CDS/CDU;
4. Dimensão da subida do BE em relação a 2002."
Ora bem. Para além do que possa ter a ver com o futuro de Santana Lopes, a margem de vitória tem uma importância relativa, excepto na medida em que se relaciona com os ponto 1 e 3 (em particular na relação de votos PSD-CDS/PP).
Ficamos assim com três questões fundamentais. Questões para as quais, lamento, estas sondagens não dão respostas definitivas. Vamos à primeira.
Maioria absoluta? Os resultados apresentados oscilam entre os 43% e os 47%. Por assim dizer, entre maioria relativa e maioria absoluta. Para além disso, mesmo que tenhamos uma crença especial na capacidade de uma sondagem em particular para estimar resultados, a margem de erro amostral associada a cada uma delas faz com que seja difícil responder à questão. Tomemos aquela em que eu acredito mais, ou seja (surprise) a da Católica. É preciso recordarmos que a estimativa de 46% significa, tomando em conta a margem de erro amostral, um valor entre 44,6% e 47,4%. Ou seja, potencialmente, a diferença entre a maioria relativa e a maioria absoluta. Para as restantes sondagens, com amostras menores, o problema, por maioria de razão, também existe. E o seu trabalho de campo foi realizado, na maioria dos casos, uma semana antes das eleições. E há, pelo menos na sondagem da Católica, 12% de indecisos.
Logo, não se sabe se haverá ou não maioria absoluta. Ou melhor: nem sequer é possível dizer se, no momento em que se fez o trabalho de campo, haveria ou não uma maioria absoluta. Não pensem que estou a ser propositadamente defensivo, a proteger as sondagens de possíveis "fracassos" ou coisa parecida. É preciso perceber que as sondagens têm limites. Um deles é este.
Dito isto, o meu palpite, se tivesse mesmo de dar um, é o seguinte: se a abstenção descer significativamente, o PS chega lá. A razão está aqui.
Discrepâncias na Aximage?
Via Blogouve-se:
"Coisas que fascinam (o regresso)
A mesma sondagem (pelo menos com a mesma ficha técnica) aparece hoje no Jornal de Negócios e no Correio da Manhã... mas com resultados diferentes!Na ficha do Correio da Manhã diz-se: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto". No Jornal de Negócios (que não está on line) a ficha técnica diz: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã/Jornal de Negócios pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto".
Mas o mais surpreendente é mesmo a diferença nos resultados:
No Correio da Manhã:
PS 45,4
PSD 28
CDU 6,8
PP 6,7
BE 5,2
No Jornal de Negócios:
PS 46,8
PSD 29,6
CDU 7,0
PP 7,3
BE 5,5
E agora?"
Ora bem, está explicado (até certo ponto) no Correio da Manhã. Segundo a Aximage, o segundo conjunto de estimativas resulta de "distribuição de indecisos de acordo com o modelo probabilístico construído a partir das respostas a perguntas especificamente dirigidas a indecisos em que lhes foram apresentados cenários de voto".
"Coisas que fascinam (o regresso)
A mesma sondagem (pelo menos com a mesma ficha técnica) aparece hoje no Jornal de Negócios e no Correio da Manhã... mas com resultados diferentes!Na ficha do Correio da Manhã diz-se: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto". No Jornal de Negócios (que não está on line) a ficha técnica diz: "REALIZAÇÃO 12 a 16 de Feveiro, para o Correio da Manhã/Jornal de Negócios pela Aximage, com a direcção técnica de Jorge Sá e Luís Reto".
Mas o mais surpreendente é mesmo a diferença nos resultados:
No Correio da Manhã:
PS 45,4
PSD 28
CDU 6,8
PP 6,7
BE 5,2
No Jornal de Negócios:
PS 46,8
PSD 29,6
CDU 7,0
PP 7,3
BE 5,5
E agora?"
Ora bem, está explicado (até certo ponto) no Correio da Manhã. Segundo a Aximage, o segundo conjunto de estimativas resulta de "distribuição de indecisos de acordo com o modelo probabilístico construído a partir das respostas a perguntas especificamente dirigidas a indecisos em que lhes foram apresentados cenários de voto".
Interlúdio
Por razões que desconheço nem quero conhecer, o sitemeter indica-me que um dos sites através do qual se acedeu a este blogue foi este. Não podia ser mais apropriado.
Os "efeitos" da campanha
Média das 5 sondagens publicadas entre 27/1 e 29/1:
PS:45%
PSD:31%
CDU:7%
CDS:7%
BE:7%
Média das sondagens publicadas entre 17/2 e 18/2:
PS:46%
PSD:30%
CDU:7%
CDS:7%
BE:6%
Preciso de dizer mais alguma coisa?
PS:45%
PSD:31%
CDU:7%
CDS:7%
BE:7%
Média das sondagens publicadas entre 17/2 e 18/2:
PS:46%
PSD:30%
CDU:7%
CDS:7%
BE:6%
Preciso de dizer mais alguma coisa?
Três certezas a 99,9% (como quem diz)
1. O PS ganha;
2. PSD e CDS-PP não fazem maioria;
3. Subida forte do BE em relação a 2002;
4. Se não tiver maioria absoluta, PS necessita apenas de um parceiro à esquerda para a formar.
2. PSD e CDS-PP não fazem maioria;
3. Subida forte do BE em relação a 2002;
4. Se não tiver maioria absoluta, PS necessita apenas de um parceiro à esquerda para a formar.
Certeza absoluta
Uma certeza absoluta: estas eleições vão ser aquelas (pelo menos desde 1991) em que haverá menos diferença entre as diferentes sondagens no que respeita à precisão das suas estimativas. Isso sabe-se de forma muito simples: a dispersão nos resultados das diferentes sondagens é a menor de sempre. As estimativas para o PS oscilam entre os 43% e o 47%, para o PSD entre os 27% e os 31%, para a CDU entre os 6% e os 9%, para o CDS-PP entre os 6 e os 8%, e para o BE entre os 5% e os 8%. Pode ainda parecer muito, e para os pequenos partidos, num certo sentido, é. Mas isso não impede que estas sejam as eleições legislativas onde as últimas sondagens mais convergiram entre si. Agora se estão todas muito "certas" ou todas muito "erradas" é outra questão...
O dilúvio
Dois dilúvios, aliás: um de e-mails recebidos e outro de sondagens. Quanto ao primeiro, vou nalguns casos responder directamente e, noutros, tentar responder ao longo do tempo com estes posts. Seja como for, obrigado a todos. Quanto às sondagens, são sete, que eu saiba, divulgadas ontem e hoje nos órgãos de comunicação social:
Para já ficam os dados. Comentário final no próximo post...
Para já ficam os dados. Comentário final no próximo post...
quinta-feira, fevereiro 17, 2005
2002
E para terminar a ronda pelas últimas sondagens publicadas antes das legislativas, eis as de 2002:
Em síntese:
1. Em média, os desvios absolutos cometidos pelas sondagens na estimação dos resultados dos cinco maiores partidos foi de 1,7%. Católica foi quem mais se aproximou(1% de desvio absoluto médio);
2. Em média, as sondagens sobrestimaram a margem de vitória do PSD em 2,9%. A Eurosondagem foi que mais se aproximou da margem real.
3. Lusófona e Eurequipa foram as únicas que apanharam claramente o CDS à frente da CDU.
Espero que isto tenha sido de alguma utilidade. Há quem duvide disso, recorrendo ao argumento de que "sondagens não são previsões", não devendo por isso ser comparadas com resultados eleitorais, ou mesmo alegando que as próprias sondagens geram efeitos que levam à sua menor precisão, o que tornaria o seu confronto com os resultados "injusto".
Não concordo nada com estes argumentos. Sondagens realizadas num mesmo momento estão em pé de igualdade no que respeita à sua (in)capacidade de previsão. E no entanto, umas aproximam-se mais do que outras dos resultados. Porquê? Pode ser um acaso. Mas quando as margens de erro amostral são claramente ultrapassadas por umas sondagens e não por outras, não haverá razões para tal, ligadas aos métodos utilizados ou à sua incapacidade para lidar com fenómenos sociopolíticos que geram imprecisão (a abstenção diferencial, a espiral do silêncio, os próprios efeitos das sondagens sobre os comportamentos)? Se não compararmos sondagens e métodos, como podemos aprender a melhorá-las?
Três últimos pontos antes do dilúvio de hoje e amanhã:
1. Parece-me evidente a melhoria na precisão da informação fornecida aos eleitores acerca das intenções de voto nas legislativas desde 1991.
2. Introduzir de "factores de correcção" nas sondagens actuais na base de informação passada constitui um enorme risco. Todos os partidos já foram alguma vez sobre e subestimados, enquanto vencedores ou derrotados, enquanto favoritos ou não. Como saber como e quando a "correcção" vai ser útil ou, pelo contrário, produzir ainda maiores distorções?
3. Não há, desde 1991, um partido que seja uniformemente e sistematicamente subestimado nas sondagens. É certo que, desde 1999, isso tem sucedido com o CDS. Acontecerá o mesmo desta vez?
Em síntese:
1. Em média, os desvios absolutos cometidos pelas sondagens na estimação dos resultados dos cinco maiores partidos foi de 1,7%. Católica foi quem mais se aproximou(1% de desvio absoluto médio);
2. Em média, as sondagens sobrestimaram a margem de vitória do PSD em 2,9%. A Eurosondagem foi que mais se aproximou da margem real.
3. Lusófona e Eurequipa foram as únicas que apanharam claramente o CDS à frente da CDU.
Espero que isto tenha sido de alguma utilidade. Há quem duvide disso, recorrendo ao argumento de que "sondagens não são previsões", não devendo por isso ser comparadas com resultados eleitorais, ou mesmo alegando que as próprias sondagens geram efeitos que levam à sua menor precisão, o que tornaria o seu confronto com os resultados "injusto".
Não concordo nada com estes argumentos. Sondagens realizadas num mesmo momento estão em pé de igualdade no que respeita à sua (in)capacidade de previsão. E no entanto, umas aproximam-se mais do que outras dos resultados. Porquê? Pode ser um acaso. Mas quando as margens de erro amostral são claramente ultrapassadas por umas sondagens e não por outras, não haverá razões para tal, ligadas aos métodos utilizados ou à sua incapacidade para lidar com fenómenos sociopolíticos que geram imprecisão (a abstenção diferencial, a espiral do silêncio, os próprios efeitos das sondagens sobre os comportamentos)? Se não compararmos sondagens e métodos, como podemos aprender a melhorá-las?
Três últimos pontos antes do dilúvio de hoje e amanhã:
1. Parece-me evidente a melhoria na precisão da informação fornecida aos eleitores acerca das intenções de voto nas legislativas desde 1991.
2. Introduzir de "factores de correcção" nas sondagens actuais na base de informação passada constitui um enorme risco. Todos os partidos já foram alguma vez sobre e subestimados, enquanto vencedores ou derrotados, enquanto favoritos ou não. Como saber como e quando a "correcção" vai ser útil ou, pelo contrário, produzir ainda maiores distorções?
3. Não há, desde 1991, um partido que seja uniformemente e sistematicamente subestimado nas sondagens. É certo que, desde 1999, isso tem sucedido com o CDS. Acontecerá o mesmo desta vez?
Subscrever:
Mensagens (Atom)
