Em dois posts anteriores, divulguei e discuti algumas conclusões do relatório feito a solicitação da ERC sobre as sondagens em Portugal. No primeiro, sintetizei as principais conclusões e recomendações. No segundo, discuti as recomendações. Neste último post, atrasado por falta de tempo, abordo as principais conclusões do relatório no que respeita às próprias sondagens, seus resultados e confronto com resultados eleitorais.
Para este fim, o relatório baseia-se em 38 sondagens publicadas na semana anterior às eleições europeias de 2009 (5), regionais Madeira 2008 (3), regionais Açores 2007 (1), intercalares Lisboa 2007 (5), presidenciais 2006 (6), autárquicas Lisboa 2005 (5), autárquicas Porto 2005 (5) e legislativas 2005 (8). De seguida, os autores do relatório comparam os resultados dessas sondagens - das estimativas de intenções de voto válidas + brancos e nulos (excepto nas presidenciais, suponho) com os que vieram a ser os resultados reais. Calculam o desvio em módulo (valor absoluto) entre uns e outros e depois a média desses desvios para cada sondagem. Ficamos assim com um indicador de "precisão" de cada sondagem: "em média, os resultados deste sondagem desviaram-se dos valores reais em x".
Como a base de dados recolhida pela equipa responsável pelo relatório continha informação sobre algumas características da sondagem e da eleição respectiva, o relatório, a partir da página 23, calcula um valor médio para esse indicador de precisão por eleição, empresa/instituto de sondagens, procedimento de amostragem e técnica de recolha. As conclusões desta análise encontram-se resumidas na página 4:
"Nas sondagens, cujos dados da Ficha técnica permitiram o cálculo dos desvios em módulo entre os valores estimados através da projecção e os valores reais da eleição para os diferentes partidos (trinta e duas em trinta e oito), o desvio médio em módulo foi no conjunto de 2,3%.
Foi menor nas projecções:
- para as eleições legislativas de 2005, seguindo-se-lhes as projecções para as eleições presidenciais de 2006 e intercalares de Lisboa de 2007;
- realizadas pela empresa Ipom, seguida de Universidade Católica e Aximage;
- que utilizaram o procedimento de amostragem aleatória de selecção de freguesias tipo e último aniversariante, seguido pelos procedimentos de amostragem de selecção aleatória de indivíduo
através de “master sample” e selecção aleatória de lar e último aniversariante;
- que recorreram à entrevista pessoal;
Foi maior nas projecções
- para as eleições europeias de 2009;
- realizadas pela empresa Pitagórica, seguida da Intercampus;
- que utilizaram o procedimento de selecção “homem mais novo” - Pitagórica - e selecção aleatória de lar e quotas de indivíduo;
- que recorreram à entrevista telefónica."
E conclui-se também, na base destes dados, que "não existe correlação significativa entre a dimensão da amostra e a precisão das estimativas" (p. 16).
Estas conclusões do relatório da ERC fazem-me lembrar uma famosa conferência feita em 1952 por Jerzy Neyman, uma das figuras cimeiras da estatística moderna, onde contava a história de um amigo (imaginário) que recolheu dados sobre a população de cegonhas e o número de nascimentos em 54 condados dos Estados Unidos. A correlação entre o número de cegonhas e o número de bebés nascidos durante o período considerado atinge o valor de .83, próximo do limite máximo de 1 (correlação perfeita). Na conferência em causa, o amigo de Neyman sugeria que, na base dos resultados, era evidente que a presença de cegonhas estava a influenciar os nascimentos, e propunha a realização de uma experiência de controlo de natalidade, que consistia na remoção de todas as cegonhas de um sub-conjunto de condados seleccionados aleatoriamente. O problema do amigo de Neyman, claro, é que não estava a tomar em conta o facto de que o número de mulheres varia de condado para condado, e que esse número está correlacionado quer com o número de nascimentos quer com o número de cegonhas (condados maiores, mais cegonhas). Se dividirmos os condados por grupos com aproximadamente o mesmo número de mulheres e procurarmos dentro de cada um desses grupos a correlação entre cegonhas e nascimentos, essa correlação é nula. Mantendo constante uma variável de controlo (o nº de mulheres) que está relacionada quer com a suposta variável independente quer com a variável dependente, remove-se a influência dessa variável e estima-se um valor "verdadeiro" (ou "menos enviesado", pelo menos) para a relação entre o nº de cegonhas e o nº de nascimentos, neste caso, obviamente, zero.
Imaginemos agora que, por alguma razão, as eleições com maiores taxas de abstenção - Europeias, por exemplo - foram aquelas onde mais frequentemente se recorreu a entrevistas telefónicas. Não sei se é assim, mas não seria estranho. Sondagens presenciais são mais caras e obrigam a maior investimento, investimento esse que costuma ser reservado para eleições vistas como mais importantes. E imaginemos agora que as eleições com maiores taxas de abstenção são também aquelas onde os desvios entre os resultados das eleições e os resultados das sondagens são maiores. Não sei se é assim - ou melhor, até sei, por aqui e por aqui - mas imaginemos que é esse o caso. Se assim for, a afirmação do relatório de que "os desvios foram maiores nas sondagens que recorreram a entrevista telefónica", sendo factualmente correcta, é muito provavelmente irrelevante do ponto de vista da análise dos correlatos da precisão das sondagens. Tal como na relação entre cegonhas e bebés, a melhor estimação para a relação "verdadeira" entre técnica de recolha e precisão das sondagens pode muito bem ser zero. Por extensão, o mesmo pode suceder com todas as restantes afirmações sobre empresas, amostragem, etc.
A afirmação sobre a ausência de relação significativa entre a dimensão da amostra e a precisão das sondagens feita no relatório pertence à mesma categoria genérica das anteriores, ilustrando-a, contudo, de maneira diferente. Uma relação verdadeira que permanece invisível quando nos limitamos a correlacionar duas variáveis só vai aparecer quando estimamos um modelo correctamente especificado. No caso concreto, basta que as sondagens realizadas em eleições com maior abstenção - menor precisão - tenham tendencialmente usado amostras maiores para que quaisquer efeitos favoráveis da dimensão da amostra na precisão permaneçam ocultos numa simples correlação (e nem entro pelo problema de se presumir, na correlação estimada no relatório, uma relação linear entre dimensão amostral e precisão, coisa que se percebe rapidamente não poder ser esperada quando se olha para isto).
É estranho que um relatório redigido por pessoas desta qualidade, que se propõe fazer um "diagnóstico" sobre as sondagens e uma "análise" da sua "precisão" tenha optado por ignorar completamente o conceito de controlo estatístico. Só por falta de tempo se explica isto. É certo que nunca se diz no relatório que esta ou aquela metodologia produz resultados mais ou menos precisos. E é também verdade que, a certa altura, se afirma que "não se estão aqui a considerar obviamente quer as inter-relações entre esses factores quer o efeito de outros factores que se sabe afectarem os resultados, o que poderá ser objecto de outra análise mais aprofundada, se essa informação for disponibilizada". Mas este disclaimer não chega. "A análise mais aprofundada" não carecia de informação não disponibilizada. Muitos dos factores que sabe influenciarem a "precisão" das sondagens, no sentido que o relatório atribui ao termo, são conhecidos. E como sondagens não são previsões de resultados eleitorais, a sua comparação sistemática com esse resultados não pode deixar de ser feita mantendo em mente e testando, no mínimo, um modelo qualquer que inclua pelo menos alguns desses factores que fazem, muito simplesmente, com que sondagens não possam ser tratadas como previsões. E sabendo-se que o relatório ia ser lido (também) em busca de factores explicativos da precisão das sondagens, a mera enunciação de "médias" por empresa, técnica de recolha e amostragem ou a mera correlação com dimensões amostrais correu, uma vez mais, o risco de obfuscar os fenómenos em vez de os clarificar. Digo isto perfeitamente ciente de que as conclusões da ERC são muito favoráveis ao instituto que dirijo, inclusivamente do ponto de vista das técnicas de recolha e amostragem que usamos, para já não falar dos "standards" de divulgação da informação (tratados no post anterior). Mas não estaria a ser intelectualmente honesto se dissesse que estas conclusões estão correctas. Até podem estar, substantivamente falando, e ficaria contente se assim fosse. Mas o relatório fica muito aquém de o provar. É pena.
Contudo, não quero ser excessivamente negativo. Num país, digamos, maior, mais rico e com melhores universidades, nem este relatório nem este post teriam sido necessários para coisa alguma. As "bases de dados" que o relatório propõe já existiriam. Papers sobre este assunto já teriam sido escritos, discutidos em conferências, e nelas elogiados pela sua competência ou assassinados pela sua indigência. Seriam publicados em boas revistas se fossem bons, em revistas menos boas se fossem menos bons, ou em .pdf's nas páginas pessoais dos autores se fossem péssimos. Mas como vivemos num país pequeno, pobre e com más universidades, isto é melhor que nada, acho.
P.S. - Sobre a comparação entre a "abstenção real" e a "abstenção estimada" nas sondagens, que o relatório faz nas páginas 22 e 23, nem vale a pena perder muito tempo. Por um lado, a comparação é feita com recurso à abstenção oficial, e nem sequer se fez um esforço para tentar estimar um valor real (usando como denominador, por exemplo, a voting age population). Por outro lado, o relatório toma como "estimativas da abstenção" coisas que não o são, como discutido no post anterior sobre o tema.
quinta-feira, novembro 12, 2009
terça-feira, novembro 10, 2009
Mais Trocas
A pedido de várias famílias, um primeiro contrato sobre Economia no Trocas: este. Em breve, vamos arrumar os contratos em temas.
domingo, novembro 08, 2009
A negociação e formação de preços no Trocas
Começou a circular há alguns dias um inquérito aos inscritos no Trocas de Opinião. Nas respostas já recebidas chegaram já muitas e boas sugestões, cuja concretização depende apenas de tempo. Somos cinco pessoas, mas todas com day jobs, pelo que a capacidade de implementar alterações é limitada. Agradecemos as vossas ideias e a vossa paciência.
Entretanto, há quem tenha levantado a questão de saber como exactamente se procede à compra e venda de contratos e como se forma o preço. Aqui vai a melhor explicação que consigo dar.
1. Uma das maneiras de perceber como isto funciona é considerar que, neste momento, estão pendentes de concretização várias centenas de ordens de compra e venda de contratos no Trocas de Opinião. Por exemplo, desde o dia 15 de Outubro que está no sistema uma ordem de compra de 400 contratos "Governo cai antes de Setembro de 2010" por 4,99 trocos. A razão pela qual este investidor continua a não conseguir comprar qualquer título com esta ordem é porque nenhuma das ordens de venda actualmente pendentes foi introduzida por pessoas dispostas a receber menos que 16 trocos. Neste momento, há até no sistema quem esteja disposto a pagar 12 trocos por cada um destes contratos. Mas como não há ninguém disposto a receber menos de 16, enquanto não aparecer alguém a querer comprar por mais e/ou alguém a querer vender por menos, este título não é transaccionado, e a sua cotação ficará pelo valor actual, 17,5 trocos, ou seja, o valor ao qual se deu o último negócio. De resto, uma das alterações prioritárias que vamos introduzir - e que vários utilizadores já tinham sugerido - é fazer com que, a qualquer momento, se possa saber para cada contrato aquilo que vos acabo de dizer: quem está disposto a comprar por mais, e quem está disposto a vender por menos.
2. Mas imaginem agora que entrava no sistema uma ordem de compra de 200 contratos "Governo cai antes de Setembro de 2010" por 18 euros. O que sucederia?
- Primeiro, o sistema verifica se o investidor que coloca a ordem tem trocos suficientes para comprar 200 contratos ao preço máximo que se dispõe pagar por cada um (e tendo em conta as ordens que já tem pendentes no sistema). Se não tiver, é avisado de que não tem trocos suficientes e a coisa fica por aí. Se tiver, passamos ao ponto seguinte.
- Segundo, o sistema verifica se o investidor tem ordens pendentes de mais de 200 contratos. Se tiver, não o deixa introduzir a nova ordem, tendo em conta a limitação de 400 contratos que introduzimos após as autárquicas, de forma a evitar o "free for all" que foram as vendas a descoberto. Mas se a ordem agora introduzida, somada às pendentes, for inferior a 400 contratos, passamos ao ponto seguinte.
- Terceiro, o sistema vai emparelhar esta ordem de compra (200 contratos a 18 trocos) com ordens de venda pendentes. Como o faz?
*Procura todas as ordens de venda com valor igual ou inferior a 18 (pessoas que estão dispostas a receber 18 ou menos trocos pelo contrato);
*Destas, escolha a que tem o valor inferior, ou seja, emparelha a ordem de compra com quem esteja disposto a receber menos pelos contratos que quer vender;
*Se houver várias ordens de venda com o mesmo valor, começa pela ordem de venda que foi introduzida no sistema há mais tempo;
* Faz o negócio pela média entre o valor mais alto que quem quer comprar está disposto a oferecer e o valor mais baixo que quem quer vender está disposto a receber. Neste caso concreto, há uma ordem de venda a 16 (a mais baixa de todas para este contrato) e foi introduzida uma ordem de compra a 18. O negócio vai fazer-se a 17 trocos.
3. Imaginem agora que quem estava a vender a 16 estava a vender apenas 100 contratos. Nesse caso, quem introduziu ordem de compra concretiza a aquisição de 100 contratos a 17 trocos mas quer ainda comprar mais 100 a, no máximo, 18 trocos. O que sucede aqui é que o algoritmo recomeça para a quantidade restante. Neste caso, não vai haver negócio, porque a ordem de venda mais alta a seguir à 16 foi uma colocada por alguém que não está disposto a receber menos de 42 trocos (safa!). Como a ordem de 200 foi colocada por alguém que não está disposto a pagar mais de 18, fica uma ordem a 18 para 100 contratos pendente.
Nos vários comentários recebidos, seja aqui seja de outras formas, há dois aspectos mais mencionados:
1. O primeiro é o facto de a cotação "passar" pelo valor das ordens de compra ou de venda de alguém sem que haja negócio. Mas se olharem para a explicação anterior, é fácil perceber como isso sucede. Imaginem que há, no exemplo anterior, uma ordem de venda por 17.25, que quem vende por 16 está a vender 100 contratos e quem compra por 18 quer comprar apenas 100. O negócio dá-se entre quem vende por 16 e quem compra por 18, a cotação baixa de 17.5 para 17, e quem vende por 17.25 não consegue vender.
2. O segundo aspecto mais controverso, relacionado com o anterior, mas mais importante, é o mecanismo de fixação do preço. Fazer pela média da melhor (mais alta) oferta de compra e da melhor (mais baixa) oferta de venda é uma hipótese, mas não é a única. Já nos sugeriram outras coisas:
- Imaginem que há duas ofertas de venda pendentes, uma a 5 e outra a 10, e que aparece uma oferta de compra a 20. Nesse caso, o negócio vai-se fazer a 12.5 entre quem oferece 20 e quem aceita 5. Mas há quem nos tenha sugerido que, havendo quem queira vender a 10, quem compra nunca devia pagar mais do que 10.
- Outra sugestão é que, no exemplo anterior, o negócio se dê também entre quem dá 20 e quem vende por 5, mas que o preço seja fixado na cotação actual do título sempre que ela se situe entre 5 e 20.
As sugestões nem são incompatíveis. Podia começar pela:
- cotação actual;
- caso a cotação esteja fora do intervalo oferta de compra mais alta - oferta de venda mais baixa, então o valor da oferta de venda mais próxima (por baixo) da oferta de compra mais alta;
- caso só haja uma oferta de venda abaixo da oferta de compra, então sim a média (o sistema actual).
Estou a perceber bem, Luís, JP e Pedro? Se calhar não. Mas se sim, que vantagem em relação ao sistema actual? Menos volatilidade? Digam coisas.
Entretanto, há quem tenha levantado a questão de saber como exactamente se procede à compra e venda de contratos e como se forma o preço. Aqui vai a melhor explicação que consigo dar.
1. Uma das maneiras de perceber como isto funciona é considerar que, neste momento, estão pendentes de concretização várias centenas de ordens de compra e venda de contratos no Trocas de Opinião. Por exemplo, desde o dia 15 de Outubro que está no sistema uma ordem de compra de 400 contratos "Governo cai antes de Setembro de 2010" por 4,99 trocos. A razão pela qual este investidor continua a não conseguir comprar qualquer título com esta ordem é porque nenhuma das ordens de venda actualmente pendentes foi introduzida por pessoas dispostas a receber menos que 16 trocos. Neste momento, há até no sistema quem esteja disposto a pagar 12 trocos por cada um destes contratos. Mas como não há ninguém disposto a receber menos de 16, enquanto não aparecer alguém a querer comprar por mais e/ou alguém a querer vender por menos, este título não é transaccionado, e a sua cotação ficará pelo valor actual, 17,5 trocos, ou seja, o valor ao qual se deu o último negócio. De resto, uma das alterações prioritárias que vamos introduzir - e que vários utilizadores já tinham sugerido - é fazer com que, a qualquer momento, se possa saber para cada contrato aquilo que vos acabo de dizer: quem está disposto a comprar por mais, e quem está disposto a vender por menos.
2. Mas imaginem agora que entrava no sistema uma ordem de compra de 200 contratos "Governo cai antes de Setembro de 2010" por 18 euros. O que sucederia?
- Primeiro, o sistema verifica se o investidor que coloca a ordem tem trocos suficientes para comprar 200 contratos ao preço máximo que se dispõe pagar por cada um (e tendo em conta as ordens que já tem pendentes no sistema). Se não tiver, é avisado de que não tem trocos suficientes e a coisa fica por aí. Se tiver, passamos ao ponto seguinte.
- Segundo, o sistema verifica se o investidor tem ordens pendentes de mais de 200 contratos. Se tiver, não o deixa introduzir a nova ordem, tendo em conta a limitação de 400 contratos que introduzimos após as autárquicas, de forma a evitar o "free for all" que foram as vendas a descoberto. Mas se a ordem agora introduzida, somada às pendentes, for inferior a 400 contratos, passamos ao ponto seguinte.
- Terceiro, o sistema vai emparelhar esta ordem de compra (200 contratos a 18 trocos) com ordens de venda pendentes. Como o faz?
*Procura todas as ordens de venda com valor igual ou inferior a 18 (pessoas que estão dispostas a receber 18 ou menos trocos pelo contrato);
*Destas, escolha a que tem o valor inferior, ou seja, emparelha a ordem de compra com quem esteja disposto a receber menos pelos contratos que quer vender;
*Se houver várias ordens de venda com o mesmo valor, começa pela ordem de venda que foi introduzida no sistema há mais tempo;
* Faz o negócio pela média entre o valor mais alto que quem quer comprar está disposto a oferecer e o valor mais baixo que quem quer vender está disposto a receber. Neste caso concreto, há uma ordem de venda a 16 (a mais baixa de todas para este contrato) e foi introduzida uma ordem de compra a 18. O negócio vai fazer-se a 17 trocos.
3. Imaginem agora que quem estava a vender a 16 estava a vender apenas 100 contratos. Nesse caso, quem introduziu ordem de compra concretiza a aquisição de 100 contratos a 17 trocos mas quer ainda comprar mais 100 a, no máximo, 18 trocos. O que sucede aqui é que o algoritmo recomeça para a quantidade restante. Neste caso, não vai haver negócio, porque a ordem de venda mais alta a seguir à 16 foi uma colocada por alguém que não está disposto a receber menos de 42 trocos (safa!). Como a ordem de 200 foi colocada por alguém que não está disposto a pagar mais de 18, fica uma ordem a 18 para 100 contratos pendente.
Nos vários comentários recebidos, seja aqui seja de outras formas, há dois aspectos mais mencionados:
1. O primeiro é o facto de a cotação "passar" pelo valor das ordens de compra ou de venda de alguém sem que haja negócio. Mas se olharem para a explicação anterior, é fácil perceber como isso sucede. Imaginem que há, no exemplo anterior, uma ordem de venda por 17.25, que quem vende por 16 está a vender 100 contratos e quem compra por 18 quer comprar apenas 100. O negócio dá-se entre quem vende por 16 e quem compra por 18, a cotação baixa de 17.5 para 17, e quem vende por 17.25 não consegue vender.
2. O segundo aspecto mais controverso, relacionado com o anterior, mas mais importante, é o mecanismo de fixação do preço. Fazer pela média da melhor (mais alta) oferta de compra e da melhor (mais baixa) oferta de venda é uma hipótese, mas não é a única. Já nos sugeriram outras coisas:
- Imaginem que há duas ofertas de venda pendentes, uma a 5 e outra a 10, e que aparece uma oferta de compra a 20. Nesse caso, o negócio vai-se fazer a 12.5 entre quem oferece 20 e quem aceita 5. Mas há quem nos tenha sugerido que, havendo quem queira vender a 10, quem compra nunca devia pagar mais do que 10.
- Outra sugestão é que, no exemplo anterior, o negócio se dê também entre quem dá 20 e quem vende por 5, mas que o preço seja fixado na cotação actual do título sempre que ela se situe entre 5 e 20.
As sugestões nem são incompatíveis. Podia começar pela:
- cotação actual;
- caso a cotação esteja fora do intervalo oferta de compra mais alta - oferta de venda mais baixa, então o valor da oferta de venda mais próxima (por baixo) da oferta de compra mais alta;
- caso só haja uma oferta de venda abaixo da oferta de compra, então sim a média (o sistema actual).
Estou a perceber bem, Luís, JP e Pedro? Se calhar não. Mas se sim, que vantagem em relação ao sistema actual? Menos volatilidade? Digam coisas.
Aximage, 3-6 Nov., N=600.
Tema: Melhor candidato à liderança do PSD. 57% Marcelo, 34% Passos Coelho. Entre "eleitorado que vota tradicionalmente no PSD" (seja lá como se tenha medido isso), Marcelo reforça vantagem. Quer Marcelo quer Passos Coelho batem cada um dos restantes putativos candidatos em comparações 2 a 2. Notícia aqui.
sexta-feira, novembro 06, 2009
quarta-feira, novembro 04, 2009
O relatório sobre as sondagens, 2ª parte (longo)
O relatório feito por uma comissão nomeada pela ERC para fazer um "diagnóstico sobre a situação das sondagens" foi divulgado há duas semanas. Num post anterior, disponibilizei esse relatório e um resumo das suas principais conclusões.
A primeira coisa que queria notar é o silêncio sepulcral com que as conclusões desse relatório foram recebidas, com excepção de meia-dúzia de notícias divulgadas no próprio dia. Esse silêncio era expectável, mas não por isso menos instrutivo. Nos últimos meses, foram muitas as dezenas de comentadores, políticos e bloggers, dos mais inteligentes e informados até aos semi-analfabetos, que acharam que tinham coisas interessantes e importantes para dizer sobre as sondagens, os institutos que as fazem, os seus resultados, os seus métodos e as suas consequências. Passadas as eleições, e havendo informação produzida por uma fonte independente quer dos partidos quer dos institutos de sondagens, verifica-se que quase ninguém tem nada para dizer sobre o assunto. Só se podem tirar duas conclusões. Ou todas estas pessoas foram atingidas por uma súbita falta de tempo e disponibilidade para pensar no assunto, ou então a esmagadora maioria desses comentários - com raríssimas excepções - não foram feitos por pessoas interessadas nas sondagens, na sua qualidade ou nas suas consequências. Foram feitos com motivações estrita, única e exclusivamente políticas. Não é que não se soubesse, mas é bom dispormos agora da prova categórica.
Dito isto, passemos ao relatório. Neste post, dividi as conclusões em três tipos: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações. Quanto às primeiras, não tenho comentários para fazer. As coisas são o que são, e só resta esperar que todos se sintam alertados para algumas omissões que continuam a existir nas fichas técnicas depositadas na ERC e que contribuam para as corrigir. O mesmo não sucede quer em relação à análise dos resultados das sondagens propriamente ditos quer em relação às recomendações contidas no relatório.
Sobre as recomendações, subscrevo facilmente muitas das que são feitas: a indicação clara dos procedimentos de amostragem; a inclusão do questionário completo no depósito feito na ERC; a apresentação dos resultados em números inteiros; a indicação de todas as variáveis usadas para a ponderação pós-amostral; ou a elaboração de manuais e cursos para jornalistas. O tema do abandono das casas decimais nos resultados foi aparentemente controverso na conferência onde o relatório foi apresentado, mas Portugal deve ser dos poucos países onde isso sucede:
"The field is not an exact science, nor can it measure minute degrees of difference. Readers should be skeptical of studies that report poll results in terms as exact as two decimal places (7.03 percent, for example). Even one decimal place is usually misleading."
"The figures for the actual election result are given to the nearest decimal place, since they are real figures. The polls results, on the other hand, are expressed only as whole percentages. This is because they are estimates, subject to sampling error (...), and while it is possible to express the poll results to any number of decimal places, it is implying a spurious level of accuracy to quote a figure of 34.3%, when it is really 34.3% plus or minus 3%."
"Don't use decimals. In reporting polling numbers, you should always use whole percentages, never results with decimal points. Since these results are always subject to error, using decimals implies a precision that does not exist."
Dito isto, há recomendações com as quais não concordo:
- Em primeiro lugar, a recomendação de que, em amostras por quotas, se utilize ponderação pelo último voto. Isto significa que, nas sondagens, os inquiridos deverão ser questionados sobre o partido em que votaram nas últimas eleições e, caso haja discrepâncias entre os resultados obtidos na amostra e os resultados eleitorais reais das últimas eleições, se deve proceder a reequilíbrio amostral. Não creio que caiba à ERC, nem a uma comissão de diagnóstico nomeada pela ERC, a recomendação da adopção de opções técnicas e metodológicas cuja bondade na melhoria das estimativas não seja inequívoca. E a verdade é que não é de todo evidente que isso suceda com a ponderação por recordação de voto. O tema é controverso, há quem utilize esta ponderação e quem não a utilize, e, mais importante, não há qualquer evidência empírica para o caso português de que a sua utilização melhore os resultados. Isto não implica que não se deva discutir a sua adopção. E até possível que se conclua que, afinal, é mesmo a melhor opção no caso português. Mas é matéria para discussão e estudo, não para uma "recomendação" emanada de uma comissão nomeada pelo regulador sem bases factuais.
- O relatório sugere que, em amostras por quotas, se mencione que "o erro é desconhecido". Mas isto é enganador. É uma recomendação que, à partida, parece fundada em bases técnicas, mas é-o apenas superficialmente. É verdade que o conceito de erro amostral e a sua estimação presume amostras probabilísticas, coisa que as amostras por quotas, por definição, não são. Mas a verdade é que as amostras ditas aleatórias também não o são. Mesmo quando seleccionam números de telefone por puro random digit dialing, a incapacidade de estabelecer contacto com inquiridos que teriam sido seleccionados aleatoriamente ou de obter deles respostas faz com que a amostra deixe de ser uma amostra probabilistica do universo que se pretende e se diz representar. E em sondagens presenciais, mesmo que seleccionem localidades, domicílios e inquiridos aleatoriamente, a utilização de cluster sampling introduz erro adicional ao erro subjacente a uma amostragem puramente aleatória. Não é impossível estimar esse erro, mas é bastante complicado e, de resto, controverso. Logo, a única coisa que uma ficha técnica pode razoavelmente dizer em qualquer sondagem é aquilo que a comissão sugere na 2ª parte da sua recomendação: "Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%". O erro, em rigor, é sempre desconhecido, e dizer isso apenas nas amostras por quotas é que é, isso sim, enganador.
- A indicação da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção seria sem dúvida uma informação útil a adicionar à ficha técnica depositada na ERC. Mas iludimo-nos se pensarmos que essa informação pode ser sempre depositada antes da divulgação pública de uma sondagem pré-eleitoral. Em estudos académicos ou qualquer outro tipo de sondagem que não esteja sujeito a um calendário apertado de divulgação, não hesito em apoiar a ideia. Mas é muito frequente que, de forma a que uma sondagem seja conduzida o mais perto possível da data das eleições, minimizando diferenças entre resultados de sondagens de intenção de voto e resultados eleitorais, não sobre depois tempo para conduzir todos os controlos e inspecções antes da divulgação pública dos resultados. Logo, em muitos casos, a indicação que a comissão sugere para a ficha técnica depositada na ERC antes da divulgação pública dos resultados não pode, pura e simplesmente, ser feita.
- O relatório sugere que é importante que as fichas técnicas passem conter informação sobre "abstenção estimada". Não contesto de forma alguma que as fichas técnicas depositadas na ERC e a divulgação que é feita das sondagens junto de amostras que visam representar a totalidade dos eleitores incluam informação sobre a parte que, quando questionada sobre se vai ou não votar, responde que não o tenciona fazer. Também me inclino bastante - por achar o tema quase consensual na literatura - para que um questionário contenha sempre uma ou várias questões, separadas da questão de intenção de voto propriamente dita, destinadas a apurar a probabilidade de que um inquirido vá votar. Nuns casos, essas perguntas servirão para estimar um "eleitorado provável" de entre o conjunto de eleitores inquiridos, dando às intenções de voto desses um peso maior (ou exclusivo). Noutros casos - que me parecem pouco inventariados no relatório - parecem servir mesmo para definir a própria amostra, fazendo com que seja exclusivamente composta de "eleitores prováveis". O que já não compreendo bem é a recomendação de que se apresente sempre um valor para a "abstenção estimada". "There is no standard, widely accepted way for estimating a person's likelihood of voting. Most polling organizations combine the answers to several questions to estimate the likely electorate, and some methods work better than others". Obrigar os institutos a apresentarem as frequências das perguntas que utilizaram para estes efeitos é uma coisa. Obrigá-los a apresentar uma "estimativa" da abstenção é outra. Não creio que a segunda deva ser exigida.
- Finalmente, o relatório recomenda a criação de um "programa informático" que "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão". Acho óptimo que a ERC ou seja quem for recolha e disponibilize resultados de sondagens e de todos os aspectos técnicos ligados à sua realização. De resto, a ERC vai fazendo cada vez melhor trabalho neste domínio. Mas não sei como vai a ERC compatibilizar esta recomendação do relatório, especialmente no que diz respeito aos intervalos de confiança, com esta outra:
"No caso de sondagem por quotas, a indicação da margem de erro tem um sentido meramente indicativo do erro que se correria se ela fosse probabilística. Mas como não o é, o erro pode ser muito maior, maior, menor ou muito menor, pelo que em nosso entender se deve claramente referir que “o erro é desconhecido." (p. 23)
De resto, a afirmação de que "o erro pode ser muito maior, maior, menor ou muito menor" aplica-se igualmente a amostragem aleatória. E mais importante, claro, é este conceito de "saiam fora dos limites previstos". Na base do que acabam por a ser os resultados das eleições? Ah, mas isso é matéria para o próximo post.
A primeira coisa que queria notar é o silêncio sepulcral com que as conclusões desse relatório foram recebidas, com excepção de meia-dúzia de notícias divulgadas no próprio dia. Esse silêncio era expectável, mas não por isso menos instrutivo. Nos últimos meses, foram muitas as dezenas de comentadores, políticos e bloggers, dos mais inteligentes e informados até aos semi-analfabetos, que acharam que tinham coisas interessantes e importantes para dizer sobre as sondagens, os institutos que as fazem, os seus resultados, os seus métodos e as suas consequências. Passadas as eleições, e havendo informação produzida por uma fonte independente quer dos partidos quer dos institutos de sondagens, verifica-se que quase ninguém tem nada para dizer sobre o assunto. Só se podem tirar duas conclusões. Ou todas estas pessoas foram atingidas por uma súbita falta de tempo e disponibilidade para pensar no assunto, ou então a esmagadora maioria desses comentários - com raríssimas excepções - não foram feitos por pessoas interessadas nas sondagens, na sua qualidade ou nas suas consequências. Foram feitos com motivações estrita, única e exclusivamente políticas. Não é que não se soubesse, mas é bom dispormos agora da prova categórica.
Dito isto, passemos ao relatório. Neste post, dividi as conclusões em três tipos: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações. Quanto às primeiras, não tenho comentários para fazer. As coisas são o que são, e só resta esperar que todos se sintam alertados para algumas omissões que continuam a existir nas fichas técnicas depositadas na ERC e que contribuam para as corrigir. O mesmo não sucede quer em relação à análise dos resultados das sondagens propriamente ditos quer em relação às recomendações contidas no relatório.
Sobre as recomendações, subscrevo facilmente muitas das que são feitas: a indicação clara dos procedimentos de amostragem; a inclusão do questionário completo no depósito feito na ERC; a apresentação dos resultados em números inteiros; a indicação de todas as variáveis usadas para a ponderação pós-amostral; ou a elaboração de manuais e cursos para jornalistas. O tema do abandono das casas decimais nos resultados foi aparentemente controverso na conferência onde o relatório foi apresentado, mas Portugal deve ser dos poucos países onde isso sucede:
"The field is not an exact science, nor can it measure minute degrees of difference. Readers should be skeptical of studies that report poll results in terms as exact as two decimal places (7.03 percent, for example). Even one decimal place is usually misleading."
"The figures for the actual election result are given to the nearest decimal place, since they are real figures. The polls results, on the other hand, are expressed only as whole percentages. This is because they are estimates, subject to sampling error (...), and while it is possible to express the poll results to any number of decimal places, it is implying a spurious level of accuracy to quote a figure of 34.3%, when it is really 34.3% plus or minus 3%."
"Don't use decimals. In reporting polling numbers, you should always use whole percentages, never results with decimal points. Since these results are always subject to error, using decimals implies a precision that does not exist."
Dito isto, há recomendações com as quais não concordo:
- Em primeiro lugar, a recomendação de que, em amostras por quotas, se utilize ponderação pelo último voto. Isto significa que, nas sondagens, os inquiridos deverão ser questionados sobre o partido em que votaram nas últimas eleições e, caso haja discrepâncias entre os resultados obtidos na amostra e os resultados eleitorais reais das últimas eleições, se deve proceder a reequilíbrio amostral. Não creio que caiba à ERC, nem a uma comissão de diagnóstico nomeada pela ERC, a recomendação da adopção de opções técnicas e metodológicas cuja bondade na melhoria das estimativas não seja inequívoca. E a verdade é que não é de todo evidente que isso suceda com a ponderação por recordação de voto. O tema é controverso, há quem utilize esta ponderação e quem não a utilize, e, mais importante, não há qualquer evidência empírica para o caso português de que a sua utilização melhore os resultados. Isto não implica que não se deva discutir a sua adopção. E até possível que se conclua que, afinal, é mesmo a melhor opção no caso português. Mas é matéria para discussão e estudo, não para uma "recomendação" emanada de uma comissão nomeada pelo regulador sem bases factuais.
- O relatório sugere que, em amostras por quotas, se mencione que "o erro é desconhecido". Mas isto é enganador. É uma recomendação que, à partida, parece fundada em bases técnicas, mas é-o apenas superficialmente. É verdade que o conceito de erro amostral e a sua estimação presume amostras probabilísticas, coisa que as amostras por quotas, por definição, não são. Mas a verdade é que as amostras ditas aleatórias também não o são. Mesmo quando seleccionam números de telefone por puro random digit dialing, a incapacidade de estabelecer contacto com inquiridos que teriam sido seleccionados aleatoriamente ou de obter deles respostas faz com que a amostra deixe de ser uma amostra probabilistica do universo que se pretende e se diz representar. E em sondagens presenciais, mesmo que seleccionem localidades, domicílios e inquiridos aleatoriamente, a utilização de cluster sampling introduz erro adicional ao erro subjacente a uma amostragem puramente aleatória. Não é impossível estimar esse erro, mas é bastante complicado e, de resto, controverso. Logo, a única coisa que uma ficha técnica pode razoavelmente dizer em qualquer sondagem é aquilo que a comissão sugere na 2ª parte da sua recomendação: "Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%". O erro, em rigor, é sempre desconhecido, e dizer isso apenas nas amostras por quotas é que é, isso sim, enganador.
- A indicação da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção seria sem dúvida uma informação útil a adicionar à ficha técnica depositada na ERC. Mas iludimo-nos se pensarmos que essa informação pode ser sempre depositada antes da divulgação pública de uma sondagem pré-eleitoral. Em estudos académicos ou qualquer outro tipo de sondagem que não esteja sujeito a um calendário apertado de divulgação, não hesito em apoiar a ideia. Mas é muito frequente que, de forma a que uma sondagem seja conduzida o mais perto possível da data das eleições, minimizando diferenças entre resultados de sondagens de intenção de voto e resultados eleitorais, não sobre depois tempo para conduzir todos os controlos e inspecções antes da divulgação pública dos resultados. Logo, em muitos casos, a indicação que a comissão sugere para a ficha técnica depositada na ERC antes da divulgação pública dos resultados não pode, pura e simplesmente, ser feita.
- O relatório sugere que é importante que as fichas técnicas passem conter informação sobre "abstenção estimada". Não contesto de forma alguma que as fichas técnicas depositadas na ERC e a divulgação que é feita das sondagens junto de amostras que visam representar a totalidade dos eleitores incluam informação sobre a parte que, quando questionada sobre se vai ou não votar, responde que não o tenciona fazer. Também me inclino bastante - por achar o tema quase consensual na literatura - para que um questionário contenha sempre uma ou várias questões, separadas da questão de intenção de voto propriamente dita, destinadas a apurar a probabilidade de que um inquirido vá votar. Nuns casos, essas perguntas servirão para estimar um "eleitorado provável" de entre o conjunto de eleitores inquiridos, dando às intenções de voto desses um peso maior (ou exclusivo). Noutros casos - que me parecem pouco inventariados no relatório - parecem servir mesmo para definir a própria amostra, fazendo com que seja exclusivamente composta de "eleitores prováveis". O que já não compreendo bem é a recomendação de que se apresente sempre um valor para a "abstenção estimada". "There is no standard, widely accepted way for estimating a person's likelihood of voting. Most polling organizations combine the answers to several questions to estimate the likely electorate, and some methods work better than others". Obrigar os institutos a apresentarem as frequências das perguntas que utilizaram para estes efeitos é uma coisa. Obrigá-los a apresentar uma "estimativa" da abstenção é outra. Não creio que a segunda deva ser exigida.
- Finalmente, o relatório recomenda a criação de um "programa informático" que "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão". Acho óptimo que a ERC ou seja quem for recolha e disponibilize resultados de sondagens e de todos os aspectos técnicos ligados à sua realização. De resto, a ERC vai fazendo cada vez melhor trabalho neste domínio. Mas não sei como vai a ERC compatibilizar esta recomendação do relatório, especialmente no que diz respeito aos intervalos de confiança, com esta outra:
"No caso de sondagem por quotas, a indicação da margem de erro tem um sentido meramente indicativo do erro que se correria se ela fosse probabilística. Mas como não o é, o erro pode ser muito maior, maior, menor ou muito menor, pelo que em nosso entender se deve claramente referir que “o erro é desconhecido." (p. 23)
De resto, a afirmação de que "o erro pode ser muito maior, maior, menor ou muito menor" aplica-se igualmente a amostragem aleatória. E mais importante, claro, é este conceito de "saiam fora dos limites previstos". Na base do que acabam por a ser os resultados das eleições? Ah, mas isso é matéria para o próximo post.
domingo, novembro 01, 2009
A banda sonora da minha adolescência
O primeiro responsável pela banda sonora da minha adolescência morreu ontem. Houve outros, como Ricardo Saló e Aníbal Cabrita (no "Noites de Luar"), mas António Sérgio foi o primeiro que fez com que, na altura, a música que ouvíamos fosse a coisa mais importante das nossas vidas.
Duas canções que, estou quase certo, ouvi pela primeira vez no "Som da Frente". Mais adolescente que a segunda não existe. E contudo, ainda a tenho no i-Pod.
Duas canções que, estou quase certo, ouvi pela primeira vez no "Som da Frente". Mais adolescente que a segunda não existe. E contudo, ainda a tenho no i-Pod.
quinta-feira, outubro 29, 2009
Um dia
Planet Money é o nome de um blog e de um podcast da National Public Radio dedicado a temas económicos, tratados de forma acessível e divertida mas nunca simplista. Não perco um podcast.
Há duas semanas, um desses podcasts foi dedicado a um funcionário da Exxon em Angola e a Minguito, um rapaz que vive nas ruas de Luanda vendendo pastilha elástica e cigarros. O dia em que um órgão de comunicação social português disser algo de semelhante ao que aqui é dito sobre Angola e o seu governo será um dia feliz para a imprensa portuguesa. Receio que esse dia não esteja para breve.
Há duas semanas, um desses podcasts foi dedicado a um funcionário da Exxon em Angola e a Minguito, um rapaz que vive nas ruas de Luanda vendendo pastilha elástica e cigarros. O dia em que um órgão de comunicação social português disser algo de semelhante ao que aqui é dito sobre Angola e o seu governo será um dia feliz para a imprensa portuguesa. Receio que esse dia não esteja para breve.
quarta-feira, outubro 28, 2009
O Trocas
Há uma série de novidades na calha para o Trocas, que serão implementadas a pouco e pouco. A principal será a introdução em tempo real das melhores ordens de venda e de compra para cada contrato, para que quem queira negociar se oriente melhor. Mais e melhores gráficos, novas formas de participação e discussão no mercado, etc.
Entretanto há um novo contrato com um novo putativo futuro líder do PSD: Morais Sarmento (e a ver se não teremos de meter outro em breve). Em geral, contudo, o mercado nunca teve certezas sobre o PSD. Foram raras transacções feitas a mais de 50. Mas importa dizer que o título mais valorizado desde o início dos contratos quase nunca deixou de ser Pedro Passos Coelho.
Entretanto há um novo contrato com um novo putativo futuro líder do PSD: Morais Sarmento (e a ver se não teremos de meter outro em breve). Em geral, contudo, o mercado nunca teve certezas sobre o PSD. Foram raras transacções feitas a mais de 50. Mas importa dizer que o título mais valorizado desde o início dos contratos quase nunca deixou de ser Pedro Passos Coelho.
Relatório sobre sondagens e inquéritos de opinião
Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.
Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.
Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.
1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.
2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.
3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.
Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.
Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.
Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.
Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.
1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.
2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.
3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.
Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.
Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.
domingo, outubro 25, 2009
terça-feira, outubro 20, 2009
A "raridade" dos governos minoritários e outras coisas
Anteontem, no Público, uma peça mencionava a raridade dos governos minoritários na Europa. Espanha e Portugal seriam as excepções.
Receio, contudo, que a amostra utilizada, quer em número de países considerados quer do ponto de vista do período analisado, esteja um pouco enviesada. Entre 1945 e 1999, se considerarmos 17 países da Europa Ocidental (Austria, Bélgica, Dinamarca, Finlândia, França, Alemanha, Grécia, Islândia, Irlanda, Itália, Luxemburgo, Holanda, Noruega, Portugal, Espanha, Suécia e Reino Unido), estiveram no poder 424 governos. 141 (33%) eram governos minoritários, e 93 (22%) eram governos minoritários de um só partido. Portugal e Espanha estão entre os casos em que estes governos foram mais frequentes, mas o mesmo sucede com a Dinamarca, França, Irlanda, Itália e Suécia. Estes dados podem ser encontrados neste livro de 2008.
Outra coisa que o livro mostra é que, obviamente, governos minoritários duram menos que governos maioritários: em média, menos um ano. E outra ainda é que, talvez menos obviamente, os partidos que lideram governos minoritários tendem a ser menos punidos em eleições subsequentes que outros tipos de governo.
Entretanto, a coisa mais conhecida sobre as consequências económicas dos governos minoritários é um antigo paper de duas pessoas hoje muito famosas, Nouriel Roubini e Jeffrey Sachs, que sugere que governos minoritários tendem a produzir défices orçamentais 1.5 pontos por ano acima do que sucede com governos maioritários. Já passou muita água debaixo da ponte depois deste artigo. Um livro de 2002 de Torsten Persson e Guido Tabellini confirma a mesma ideia (ver quadro 6.7), mas há muita discussão sobre o assunto.
Receio, contudo, que a amostra utilizada, quer em número de países considerados quer do ponto de vista do período analisado, esteja um pouco enviesada. Entre 1945 e 1999, se considerarmos 17 países da Europa Ocidental (Austria, Bélgica, Dinamarca, Finlândia, França, Alemanha, Grécia, Islândia, Irlanda, Itália, Luxemburgo, Holanda, Noruega, Portugal, Espanha, Suécia e Reino Unido), estiveram no poder 424 governos. 141 (33%) eram governos minoritários, e 93 (22%) eram governos minoritários de um só partido. Portugal e Espanha estão entre os casos em que estes governos foram mais frequentes, mas o mesmo sucede com a Dinamarca, França, Irlanda, Itália e Suécia. Estes dados podem ser encontrados neste livro de 2008.
Outra coisa que o livro mostra é que, obviamente, governos minoritários duram menos que governos maioritários: em média, menos um ano. E outra ainda é que, talvez menos obviamente, os partidos que lideram governos minoritários tendem a ser menos punidos em eleições subsequentes que outros tipos de governo.
Entretanto, a coisa mais conhecida sobre as consequências económicas dos governos minoritários é um antigo paper de duas pessoas hoje muito famosas, Nouriel Roubini e Jeffrey Sachs, que sugere que governos minoritários tendem a produzir défices orçamentais 1.5 pontos por ano acima do que sucede com governos maioritários. Já passou muita água debaixo da ponte depois deste artigo. Um livro de 2002 de Torsten Persson e Guido Tabellini confirma a mesma ideia (ver quadro 6.7), mas há muita discussão sobre o assunto.
segunda-feira, outubro 19, 2009
Aximage, 12-16 Outubro, N=600, Tel.
São tratados temas como a actuação dos membros do governo e dos líderes político-partidários. A escala utilizada é de 0 a 20. Entre os membros do governo, a avaliação mais alta vai para Teixeira dos Santos (média de 13) e a mais baixa para Maria de Lurdes Rodrigues (7,2). Entre os líderes partidários, a média mais alta é a de Paulo Portas (12,3) e a mais baixa a de Manuela Ferreira Leite (6). O PM é avaliado com 12,1 e o PR com 9,8. Tudo aqui e aqui.
domingo, outubro 18, 2009
Anos 70
Vale a pena ir ver a exposição no CAM, na Gulbenkian, intitulada "Anos 70: Atravessar Fronteiras". Há coisas muito boas que eu já conhecia:
Ana Hatherly
Outras que não conhecia:
Emília Nadal
E outras que só acredito que existem porque as vi com estes que a terra há-de comer:
Ana Hatherly
Outras que não conhecia:
Emília Nadal
E outras que só acredito que existem porque as vi com estes que a terra há-de comer:
segunda-feira, outubro 12, 2009
Rescaldo
Bem, you know the drill. Dois critérios: erro 3 (a média dos desvios absolutos entre as estimativas da sondagem - intenções de voto em sondagens pré-eleitorais, simulações de voto em sondagens à boca das urnas - e os resultados eleitorais); e erro 5 (a diferença entre a margem de vitória estimada e a margem de vitória real).
O objectivo é sempre o mesmo: coligir informação que possa ser usada para aprender alguma coisa do ponto de vista das metodologias que melhor medem atitudes políticas. Para isso, considero apenas os concelhos em que houve mais do que uma sondagem (para poder fazer algum tipo de comparação) realizada na última semana (para manter constante um factor que se sabe ser vital, a distância em relação ao acto eleitoral). Mesmo assim, dentro da última semana, há variações de alguns dias no trabalho de campo que podem não ser inconsequentes, mas não vamos agora por aí. O único concelho que excluo é Braga, porque apesar das duas sondagens, há uma que não tem elementos suficientes para se poderem apresentar resultados comparáveis.
Quanto às sondagens pré-eleitorais, aqui vai. A verde, as sondagens com menores discrepâncias entre estimativas de intenções de voto válidas e aqueles que vieram a ser os resultados, dos pontos de vista dos erros 3 e 5 (espero não haver qualquer erro em tantos números, mas se repararem nalgum avisem que será rapidamente corrigido):
O erro 3 mais elevado nas legislativas para qualquer um dos institutos foi 2, e o erro 5 mais elevado foi 2,2. Estas marcas foram ultrapassadas muitas vezes nestas autárquicas, o que confirma o que já sabíamos de eleições anteriores. Mas por outro lado, estamos longe do que se passou nas Europeias mais recentes: houve sempre consenso sobre os vencedores, e os vencedores venceram realmente. E onde não houve consenso - em Faro - não podia haver.
Nas sondagens à boca das urnas, que eu saiba, houve apenas quatro concelhos onde foram feitas mais do que duas sondagens. Não apresento os valores dos intervalos porque, curiosamente, variaram imenso entre os diferentes institutos (maiores na Intercampus, menores na Eurosondagem) e são, assim, pouco informativos. Limito-me a apresentar os pontos centrais:
Há aqui, também, casos de erros - em Matosinhos e Lisboa - maiores que os das legislativas. Mas ao mesmo tempo, duas sondagens à boca das urnas cuja precisão, creio, não voltará a ser repetida tão cedo (duas das que foram feitas no Porto). Mas notem: há nesta "precisão" - e, quem sabe, também em várias "imprecisões" - muito de imponderável. E se olharmos para os quadros, vemos que os mesmos institutos, usando os mesmos métodos e, imagina-se, com várias outras coisas em comum em todas as sondagens que fazem (formação dos inquiridores, formulações de perguntas, ponderações pós-amostrais de resultados, etc, etc, etc) são capazes de ser, ao mesmo tempo, daqueles que apresentam estimativas que mais se aproximaram dos resultados finais nalguns concelhos e, noutros, dos que menos o fizeram. É por isso que nada do que diz respeito a estes assuntos tem uma explicação óbvia. E é por isso que tudo isto é interessante (para nerds como eu e vocês que chegaram até aqui na leitura do post, obviamente).
Interessante, claro, mas com limites. O que isto merecia agora era uma análise mais aprofundada do conjunto das sondagens das autárquicas de 2009 (apesar de serem em muito menor número dos que as de 2005, o que dificultará as coisas). Talvez um dia a faça de novo com o Diogo. Mas não vai ser nem hoje, nem amanhã, nem para a semana. De sondagens, e de eleições, é agora preciso descansar. Até mais logo.
P.S. - Já me esquecia. A Intercampus ontem fez sondagens em 16 (!) concelhos. Não tive tempo para ver em detalhe como lhes correram as coisas nos que não estão tratados neste post, mas espero que bem. Uma vez o CESOP fez 14 e jurámos para nunca mais: é um esforço incrível. Só por isso, os meus parabéns.
O objectivo é sempre o mesmo: coligir informação que possa ser usada para aprender alguma coisa do ponto de vista das metodologias que melhor medem atitudes políticas. Para isso, considero apenas os concelhos em que houve mais do que uma sondagem (para poder fazer algum tipo de comparação) realizada na última semana (para manter constante um factor que se sabe ser vital, a distância em relação ao acto eleitoral). Mesmo assim, dentro da última semana, há variações de alguns dias no trabalho de campo que podem não ser inconsequentes, mas não vamos agora por aí. O único concelho que excluo é Braga, porque apesar das duas sondagens, há uma que não tem elementos suficientes para se poderem apresentar resultados comparáveis.
Quanto às sondagens pré-eleitorais, aqui vai. A verde, as sondagens com menores discrepâncias entre estimativas de intenções de voto válidas e aqueles que vieram a ser os resultados, dos pontos de vista dos erros 3 e 5 (espero não haver qualquer erro em tantos números, mas se repararem nalgum avisem que será rapidamente corrigido):
O erro 3 mais elevado nas legislativas para qualquer um dos institutos foi 2, e o erro 5 mais elevado foi 2,2. Estas marcas foram ultrapassadas muitas vezes nestas autárquicas, o que confirma o que já sabíamos de eleições anteriores. Mas por outro lado, estamos longe do que se passou nas Europeias mais recentes: houve sempre consenso sobre os vencedores, e os vencedores venceram realmente. E onde não houve consenso - em Faro - não podia haver.
Nas sondagens à boca das urnas, que eu saiba, houve apenas quatro concelhos onde foram feitas mais do que duas sondagens. Não apresento os valores dos intervalos porque, curiosamente, variaram imenso entre os diferentes institutos (maiores na Intercampus, menores na Eurosondagem) e são, assim, pouco informativos. Limito-me a apresentar os pontos centrais:
Há aqui, também, casos de erros - em Matosinhos e Lisboa - maiores que os das legislativas. Mas ao mesmo tempo, duas sondagens à boca das urnas cuja precisão, creio, não voltará a ser repetida tão cedo (duas das que foram feitas no Porto). Mas notem: há nesta "precisão" - e, quem sabe, também em várias "imprecisões" - muito de imponderável. E se olharmos para os quadros, vemos que os mesmos institutos, usando os mesmos métodos e, imagina-se, com várias outras coisas em comum em todas as sondagens que fazem (formação dos inquiridores, formulações de perguntas, ponderações pós-amostrais de resultados, etc, etc, etc) são capazes de ser, ao mesmo tempo, daqueles que apresentam estimativas que mais se aproximaram dos resultados finais nalguns concelhos e, noutros, dos que menos o fizeram. É por isso que nada do que diz respeito a estes assuntos tem uma explicação óbvia. E é por isso que tudo isto é interessante (para nerds como eu e vocês que chegaram até aqui na leitura do post, obviamente).
Interessante, claro, mas com limites. O que isto merecia agora era uma análise mais aprofundada do conjunto das sondagens das autárquicas de 2009 (apesar de serem em muito menor número dos que as de 2005, o que dificultará as coisas). Talvez um dia a faça de novo com o Diogo. Mas não vai ser nem hoje, nem amanhã, nem para a semana. De sondagens, e de eleições, é agora preciso descansar. Até mais logo.
P.S. - Já me esquecia. A Intercampus ontem fez sondagens em 16 (!) concelhos. Não tive tempo para ver em detalhe como lhes correram as coisas nos que não estão tratados neste post, mas espero que bem. Uma vez o CESOP fez 14 e jurámos para nunca mais: é um esforço incrível. Só por isso, os meus parabéns.
sexta-feira, outubro 09, 2009
And now, for something completely different...
Lisboa. Intercampus, 4-7 Out., N=800, Presencial.
PS: 40,5%
PSD/CDS-PP/MPT/PPM: 36,3%
CDU: 10,5%
BE: 6,0%
OBN: 6,6%
Aqui.
Porto. Intercampus, 4-7 Out., N=800, Presencial.
PSD/CDS-PP: 43,2%
PS: 39,5%
BE: 7,8%
CDU: 7,1%
OBN: 2,4%
Aqui.
Num certo sentido, isto não é completely different. Em 2005, a vantagem de Carmona sobre Carrilho nas sondagens oscilava entre os 11 e os -0,4 pontos. Desta vez, a margem de Costa sobre Santana oscila entre os 12 e os 4,2 pontos. Em 2005, no Porto, a margem de vitória de Rio nas sondagens oscilava entre os 19 pontos e os -1,8 pontos. Desta vez, oscila entre os 20 e os 3,7 pontos.
É muito? Obviamente que sim. Tem explicação metodológica óbvia? Não tem. Está correlacionado com a proximidade em relação ao acto eleitoral? Só em parte. O que vemos aqui nada tem a ver com o que se passa nas legislativas ou nas presidenciais. Já há uma história relativamente longa disto, e alguns padrões recorrentes. Era bom que houvesse em Portugal uma comunidade académica interessada nestas coisas, não ligada a este ou aquele instituto de sondagens, que pudesse estudar isto. Há muito aqui para tentar compreender.
PS: 40,5%
PSD/CDS-PP/MPT/PPM: 36,3%
CDU: 10,5%
BE: 6,0%
OBN: 6,6%
Aqui.
Porto. Intercampus, 4-7 Out., N=800, Presencial.
PSD/CDS-PP: 43,2%
PS: 39,5%
BE: 7,8%
CDU: 7,1%
OBN: 2,4%
Aqui.
Num certo sentido, isto não é completely different. Em 2005, a vantagem de Carmona sobre Carrilho nas sondagens oscilava entre os 11 e os -0,4 pontos. Desta vez, a margem de Costa sobre Santana oscila entre os 12 e os 4,2 pontos. Em 2005, no Porto, a margem de vitória de Rio nas sondagens oscilava entre os 19 pontos e os -1,8 pontos. Desta vez, oscila entre os 20 e os 3,7 pontos.
É muito? Obviamente que sim. Tem explicação metodológica óbvia? Não tem. Está correlacionado com a proximidade em relação ao acto eleitoral? Só em parte. O que vemos aqui nada tem a ver com o que se passa nas legislativas ou nas presidenciais. Já há uma história relativamente longa disto, e alguns padrões recorrentes. Era bom que houvesse em Portugal uma comunidade académica interessada nestas coisas, não ligada a este ou aquele instituto de sondagens, que pudesse estudar isto. Há muito aqui para tentar compreender.
Já agora, o que diz o Trocas?
O Trocas de Opinião tem tido, nos contratos sobre as autárquicas, algumas crenças relativamente sólidas e quase inabaláveis e algumas dúvidas. Neste momento, contudo, parece ter menos dúvidas do que já teve:
1. Até agora, sempre acreditou que PSL não ganhará Lisboa. Mas a média móvel das últimas 20 cotações tem atingido valores mais altos nos últimos dias, se bem que nunca acima dos 13.
2. Também sempre acreditou que Paulo Pedroso não ganhará Almada. Só uma única transacção foi feita acima de 50. Neste momento, a cotação é 0,85.
3. Desde o início de Outubro (mais exactamente desde que saiu a primeira sondagem sobre Oeiras), o Trocas acredita que Isaltino Morais vai ganhar Oeiras. A cotação neste momento está nuns claros 93.2.
4. A probabilidade de Rui Rio ter maioria no Porto esteve, na esmagadora maioria das transacções, acima dos 60.
5. A probabilidade de Narciso Miranda ganhar Matosinhos nunca esteva acima de 50. Está neste momento a 4.
6. A probabilidade de o PSD ganhar mais de 160 câmaras nunca esteve acima dos 50. Está neste momento a 10.
Em geral, menos volatilidade que nas legislativas, devido a menos transacções (mas não muito menos, curiosamente) e também (ou especialmente) a limites impostos no volume de ordens pendentes, incluindo vendas a descoberto.
1. Até agora, sempre acreditou que PSL não ganhará Lisboa. Mas a média móvel das últimas 20 cotações tem atingido valores mais altos nos últimos dias, se bem que nunca acima dos 13.
2. Também sempre acreditou que Paulo Pedroso não ganhará Almada. Só uma única transacção foi feita acima de 50. Neste momento, a cotação é 0,85.
3. Desde o início de Outubro (mais exactamente desde que saiu a primeira sondagem sobre Oeiras), o Trocas acredita que Isaltino Morais vai ganhar Oeiras. A cotação neste momento está nuns claros 93.2.
4. A probabilidade de Rui Rio ter maioria no Porto esteve, na esmagadora maioria das transacções, acima dos 60.
5. A probabilidade de Narciso Miranda ganhar Matosinhos nunca esteva acima de 50. Está neste momento a 4.
6. A probabilidade de o PSD ganhar mais de 160 câmaras nunca esteve acima dos 50. Está neste momento a 10.
Em geral, menos volatilidade que nas legislativas, devido a menos transacções (mas não muito menos, curiosamente) e também (ou especialmente) a limites impostos no volume de ordens pendentes, incluindo vendas a descoberto.
Retrospectiva e balanço
Há uns anos, eu e o Diogo Moreira, também aqui do ICS, escrevemos um artigo sobre as sondagens pré-eleitorais para as autárquicas de 2005, recorrendo ao óptimo dossier da Marktest sobre o assunto. O artigo saiu na revista Comunicação e Cultura em 2007. Em resumo, eis o que concluímos:
1. Muita concentração das sondagens publicadas nos concelhos com mais população residente (apenas 41 concelhos, mas representando 35% da população).
2. Muitos problemas na divulgação dos resultados pela imprensa (não analisámos TV ou rádio), com divulgação errática das características técnicas básicas dos estudos.
3. A média dos desvios absolutos médios entre as 86 sondagens consideradas e os resultados eleitorais foi de 4,6. Alto, tendo em conta que o erro amostral máximo que decorria da dimensão média das amostras era 4,2.
4. Os factores que mais explicaram discrepâncias entre os resultados das sondagens e o resultados das eleições (discrepâncias medidas em termos de erro absoluto médio):
- Primeiro, o básico: quanto maior o nº de partidos/listas cujas intenções de voto eram estimadas, menor o erro. Mas isto não passa de uma variável de controlo que tem a ver com a medida utilizada: ceteris paribus, o desvio absoluto médio entre sondagens e resultados há-de ser sempre maior quando esse cálculo se faz em relação a poucos partidos do que a vários (incluindo pequenos) partidos.
- Quanto maior o erro amostral máximo associado a cada sondagem (tendo em conta a dimensão da amostra), maior o desvio médio.*
- Quando teve lugar a sondagem foi importante: naturalmente, os resultados de sondagens feitas mais próximo das eleições estiveram mais próximo dos resultados destas.
- Amostragem: amostras aleatórias produziram maiores desvios que amostras por quotas (1,7 pontos acima). Isto é um bocado simplista e não sei se resistiria a uma análise mais fina e discriminada dos processos de amostragem, nem se é decorrente de um qualquer house effect ou da amostragem propriamente dita.
- Candidatos independentes: concelhos onde concorriam candidatos independentes foram concelhos onde, ceteris paribus, o desvio absoluto médio entre sondagens e resultados foram maiores (entre 2,4 e 2,5 pontos percentuais sempre que havia independentes, o que é muito).
-Telefónica vs. Presencial não fez diferença. Nem a abstenção, se bem que aqui a variância era pouca.
Enfim, uma coisa relativamente simples, pouco menos que o possível, creio, tendo em conta o reduzido número de casos, a falta de informação sobre muitas sondagens e, claro, aquilo que sabíamos fazer na altura.
Isto tudo para dizer que as sondagens que têm sido divulgadas nos últimos tempos sobre as autárquicas devem provavelmente ser vistas, do ponto de vista da sua capacidade de antecipar o que venha a acontecer no Domingo, a esta luz. Em geral, parece evidente que são bastante menos úteis para esse fim preditivo do que têm sido as sondagens sobre as legislativas, especialmente tendo em conta a tendência para usar amostras de dimensões menores e a presença aparentemente "perturbadora" das candidaturas independentes. É certo que há vários "consensos" entre as sondagens divulgadas nos últimos tempos. Mas por tudo o que está dito antes, resta saber se resistem ao que venha a suceder até Domingo.
Dito isto, quais são os "consensos" sobre as intenções de voto medidas nas últimas duas semanas?
- PS lidera intenções de voto em Lisboa. Valores de intenções de voto válidas entre 41,9 e 45%. Se recuarmos ao final de Setembro, encontramos um valor ligeiramente mais baixo, de 41,4%.
- PSD/CDS-PP lidera intenções de voto no Porto. Valores entre 46,4 e 51%. Se recuarmos a finais de Setembro, temos uma sondagem com 44,4% para Rui Rio.
- Isaltino lidera nas duas sondagens de Oeiras, com intenções de voto válidas muito semelhantes.
- Matosinhos: PS lidera, mas grande variação nas intenções de voto válidas (entre 35,2 e 43%).
- Faro: claro "empate técnico" nas três sondagens que conheço.
Sem "consenso":
- Braga: vantagem para PS numa, empate noutra.
Isto é nos concelhos onde, que eu saiba (e pode-me perfeitamente ter escapado algo) há mais do que uma sondagem, e falando apenas de quem liderava ou não nas intenções de voto. Há outros assuntos (maiorias absolutas, diferenças entre CDU e BE, etc.) sobre os quais a maioria das sondagens nem conseguia dar uma indicação estatisticamente significativa. Para o resto, o que temos - que eu conheça- está aqui no dossier da Marktest para 2009, um verdadeiro serviço público.
Outras coisas:
- Não sei se o dossier Marktest é exaustivo. Mas se for, houve muito menos sondagens do que em 2005. Possivelmente por pressão económica de um ano anormalmente pesado em eleições e sondagens.
- Terei de ver isto com mais calma, mas à primeira vista parece-me que os padrões de divulgação de informação técnica continuam a melhorar.
- Cautelas extra a ter com a utilização destas sondagens para prever o que se passará no Domingo. Por um lado, recordem que muitas destas sondagens mais recentes foram conduzidas em parte ou na totalidade em cima do "fim de semana alargado" de 3-5 Outubro. Que implicações para a representatividade das amostras? Não sabemos, mas podem ser importantes. Por outro lado, não sei se as taxas de resposta estão a ser calculadas de forma consistente por todas as empresas. Mas as indicações que tenho é que, em vários concelhos, foram baixas. Fadiga eleitoral e das sondagens? Tendência "secular" de redução de taxas de resposta? Reacção a controvérsias recentes sobre as sondagens? Tudo com consequências potencialmente sérias, mas difíceis de apreciar neste momento.
E acho que falta a Intercampus para alguns concelhos. Confirmaremos logo à noite na TVI.
E é tudo. Agora sugiro que esqueçam as sondagens e vão votar. Mas já agora, uma nota pessoal: para mim, que nasci em Lisboa e que quase sempre aqui vivi, confesso que nunca me foi tão difícil fazer uma escolha eleitoral. Continuo a achar que é uma boa cidade para viver e aqui tenciono ficar, por essa e outras razões. Mas nada do que vi me retira a sensação de que, com sorte, hei-de chegar aos 70 e, para nosso azar, esta cidade ainda estará muito, muito longe daquilo que poderia ser. Uma lástima.
*Na verdade, isto podia ter sido mais bem feitinho. Por um lado, a dimensão das sub-amostras em relação às quais se calculam intenções de voto válidas é sempre menor que a dimensão total da amostra. Por outro lado, devíamos talvez ter calculado um erro amostral médio associado à estimação de cada um dos partidos cujos resultados estão a ser comparados com as sondagens (o que provavelmente teria diminuído a importância da variável anterior). Mas sempre foi melhor do que procurar uma relação negativa entre a dimensão da amostra e o desvio, dado que essa relação não deverá ser linear.
1. Muita concentração das sondagens publicadas nos concelhos com mais população residente (apenas 41 concelhos, mas representando 35% da população).
2. Muitos problemas na divulgação dos resultados pela imprensa (não analisámos TV ou rádio), com divulgação errática das características técnicas básicas dos estudos.
3. A média dos desvios absolutos médios entre as 86 sondagens consideradas e os resultados eleitorais foi de 4,6. Alto, tendo em conta que o erro amostral máximo que decorria da dimensão média das amostras era 4,2.
4. Os factores que mais explicaram discrepâncias entre os resultados das sondagens e o resultados das eleições (discrepâncias medidas em termos de erro absoluto médio):
- Primeiro, o básico: quanto maior o nº de partidos/listas cujas intenções de voto eram estimadas, menor o erro. Mas isto não passa de uma variável de controlo que tem a ver com a medida utilizada: ceteris paribus, o desvio absoluto médio entre sondagens e resultados há-de ser sempre maior quando esse cálculo se faz em relação a poucos partidos do que a vários (incluindo pequenos) partidos.
- Quanto maior o erro amostral máximo associado a cada sondagem (tendo em conta a dimensão da amostra), maior o desvio médio.*
- Quando teve lugar a sondagem foi importante: naturalmente, os resultados de sondagens feitas mais próximo das eleições estiveram mais próximo dos resultados destas.
- Amostragem: amostras aleatórias produziram maiores desvios que amostras por quotas (1,7 pontos acima). Isto é um bocado simplista e não sei se resistiria a uma análise mais fina e discriminada dos processos de amostragem, nem se é decorrente de um qualquer house effect ou da amostragem propriamente dita.
- Candidatos independentes: concelhos onde concorriam candidatos independentes foram concelhos onde, ceteris paribus, o desvio absoluto médio entre sondagens e resultados foram maiores (entre 2,4 e 2,5 pontos percentuais sempre que havia independentes, o que é muito).
-Telefónica vs. Presencial não fez diferença. Nem a abstenção, se bem que aqui a variância era pouca.
Enfim, uma coisa relativamente simples, pouco menos que o possível, creio, tendo em conta o reduzido número de casos, a falta de informação sobre muitas sondagens e, claro, aquilo que sabíamos fazer na altura.
Isto tudo para dizer que as sondagens que têm sido divulgadas nos últimos tempos sobre as autárquicas devem provavelmente ser vistas, do ponto de vista da sua capacidade de antecipar o que venha a acontecer no Domingo, a esta luz. Em geral, parece evidente que são bastante menos úteis para esse fim preditivo do que têm sido as sondagens sobre as legislativas, especialmente tendo em conta a tendência para usar amostras de dimensões menores e a presença aparentemente "perturbadora" das candidaturas independentes. É certo que há vários "consensos" entre as sondagens divulgadas nos últimos tempos. Mas por tudo o que está dito antes, resta saber se resistem ao que venha a suceder até Domingo.
Dito isto, quais são os "consensos" sobre as intenções de voto medidas nas últimas duas semanas?
- PS lidera intenções de voto em Lisboa. Valores de intenções de voto válidas entre 41,9 e 45%. Se recuarmos ao final de Setembro, encontramos um valor ligeiramente mais baixo, de 41,4%.
- PSD/CDS-PP lidera intenções de voto no Porto. Valores entre 46,4 e 51%. Se recuarmos a finais de Setembro, temos uma sondagem com 44,4% para Rui Rio.
- Isaltino lidera nas duas sondagens de Oeiras, com intenções de voto válidas muito semelhantes.
- Matosinhos: PS lidera, mas grande variação nas intenções de voto válidas (entre 35,2 e 43%).
- Faro: claro "empate técnico" nas três sondagens que conheço.
Sem "consenso":
- Braga: vantagem para PS numa, empate noutra.
Isto é nos concelhos onde, que eu saiba (e pode-me perfeitamente ter escapado algo) há mais do que uma sondagem, e falando apenas de quem liderava ou não nas intenções de voto. Há outros assuntos (maiorias absolutas, diferenças entre CDU e BE, etc.) sobre os quais a maioria das sondagens nem conseguia dar uma indicação estatisticamente significativa. Para o resto, o que temos - que eu conheça- está aqui no dossier da Marktest para 2009, um verdadeiro serviço público.
Outras coisas:
- Não sei se o dossier Marktest é exaustivo. Mas se for, houve muito menos sondagens do que em 2005. Possivelmente por pressão económica de um ano anormalmente pesado em eleições e sondagens.
- Terei de ver isto com mais calma, mas à primeira vista parece-me que os padrões de divulgação de informação técnica continuam a melhorar.
- Cautelas extra a ter com a utilização destas sondagens para prever o que se passará no Domingo. Por um lado, recordem que muitas destas sondagens mais recentes foram conduzidas em parte ou na totalidade em cima do "fim de semana alargado" de 3-5 Outubro. Que implicações para a representatividade das amostras? Não sabemos, mas podem ser importantes. Por outro lado, não sei se as taxas de resposta estão a ser calculadas de forma consistente por todas as empresas. Mas as indicações que tenho é que, em vários concelhos, foram baixas. Fadiga eleitoral e das sondagens? Tendência "secular" de redução de taxas de resposta? Reacção a controvérsias recentes sobre as sondagens? Tudo com consequências potencialmente sérias, mas difíceis de apreciar neste momento.
E acho que falta a Intercampus para alguns concelhos. Confirmaremos logo à noite na TVI.
E é tudo. Agora sugiro que esqueçam as sondagens e vão votar. Mas já agora, uma nota pessoal: para mim, que nasci em Lisboa e que quase sempre aqui vivi, confesso que nunca me foi tão difícil fazer uma escolha eleitoral. Continuo a achar que é uma boa cidade para viver e aqui tenciono ficar, por essa e outras razões. Mas nada do que vi me retira a sensação de que, com sorte, hei-de chegar aos 70 e, para nosso azar, esta cidade ainda estará muito, muito longe daquilo que poderia ser. Uma lástima.
*Na verdade, isto podia ter sido mais bem feitinho. Por um lado, a dimensão das sub-amostras em relação às quais se calculam intenções de voto válidas é sempre menor que a dimensão total da amostra. Por outro lado, devíamos talvez ter calculado um erro amostral médio associado à estimação de cada um dos partidos cujos resultados estão a ser comparados com as sondagens (o que provavelmente teria diminuído a importância da variável anterior). Mas sempre foi melhor do que procurar uma relação negativa entre a dimensão da amostra e o desvio, dado que essa relação não deverá ser linear.
Faro. Intercampus, 3-6 Out., N=600, Presencial
PS: 38,5%
PSD/CDS-PP/PPM/MPT: 36,2%
CDU: 8%
José Vitorino: 6,7%
BE: 6,7%
A soma dá 96,1%.
PSD/CDS-PP/PPM/MPT: 36,2%
CDU: 8%
José Vitorino: 6,7%
BE: 6,7%
A soma dá 96,1%.
Lisboa. Aximage, 6-8 Out., N=802, Tel.
Tal como divulgado:
PS: 43,5%
PSD/CDS-PP/MPT/PPM: 37,6%
CDU: 6,3%
BE: 5,9%
OBN: 4,7%
Indecisos: 2%
Após redistribuição proporcional de indecisos:
PS: 44,4%
PSD/CDS-PP/MPT/PPM: 38,4%
CDU: 6,4%
BE: 6,0%
OBN: 4,8%
PS: 43,5%
PSD/CDS-PP/MPT/PPM: 37,6%
CDU: 6,3%
BE: 5,9%
OBN: 4,7%
Indecisos: 2%
Após redistribuição proporcional de indecisos:
PS: 44,4%
PSD/CDS-PP/MPT/PPM: 38,4%
CDU: 6,4%
BE: 6,0%
OBN: 4,8%
Lisboa. Marktest, 5-7 Outubro, N= 510, Tel.
PS: 45%
PSD/CDS-PP/MPT/PPM: 37,9%
CDU: 7,3%
BE: 5,4%
Isto dá 95,6%, pelo que presumo que OBN seja 4,4%. Aqui.
PSD/CDS-PP/MPT/PPM: 37,9%
CDU: 7,3%
BE: 5,4%
Isto dá 95,6%, pelo que presumo que OBN seja 4,4%. Aqui.
Matosinhos. Eurosondagem, 4-5 Outubro, N=534, Tel.
PS: 35,2% (33,2 a 37,4)
Narciso Miranda: 30,2% (28,1 a 32,3%)
PSD/CDS-PP: 21,1% (19 a 23,2%)
CDU: 6,0% (5,1 a 6,9%)
BE: 4,7% (3,8 a 5,6%)
Somado dá 97,3%.
Narciso Miranda: 30,2% (28,1 a 32,3%)
PSD/CDS-PP: 21,1% (19 a 23,2%)
CDU: 6,0% (5,1 a 6,9%)
BE: 4,7% (3,8 a 5,6%)
Somado dá 97,3%.
Lisboa. Eurosondagem, 1-6 Outubro, N=1022, Tel.
PS: 41,9% (40 a 43,8%)
PSD/CDS-PP/MPT/PPM: 36,9% (35 a 38,8%)
CDU: 8,4% (7,3 a 9,5%)
BE: 8,0% (6,9 a 9,1%)
Somando dá 95,2%. Logo isto deve significar 4,8% de OBN. Aqui (mas tudo isto presumindo que os resultados certos estão no Expresso e não na SIC, onde a coligação liderada por PSL aparece com 33,3%).
PSD/CDS-PP/MPT/PPM: 36,9% (35 a 38,8%)
CDU: 8,4% (7,3 a 9,5%)
BE: 8,0% (6,9 a 9,1%)
Somando dá 95,2%. Logo isto deve significar 4,8% de OBN. Aqui (mas tudo isto presumindo que os resultados certos estão no Expresso e não na SIC, onde a coligação liderada por PSL aparece com 33,3%).
quinta-feira, outubro 08, 2009
Faro. Eurosondagem, 6 Out., N=503, Tel.
PSD/CDS-PP/PPM/MPT: 40,5% (38,4 a 42,6%)
PS: 37,0% (34,9 a 39,1%)
Faro no Coração: 8,0% (7,1 a 8,9%)
CDU: 6,1% (5,3 a 6,9%)
BE: 4,8% (4,1 a 5,5%)
Soma disto dá 96,4%. Aqui.
PS: 37,0% (34,9 a 39,1%)
Faro no Coração: 8,0% (7,1 a 8,9%)
CDU: 6,1% (5,3 a 6,9%)
BE: 4,8% (4,1 a 5,5%)
Soma disto dá 96,4%. Aqui.
Braga. IPOM, 5-6 Out., N=794, Tel.
PSD/CDS-PP: 31,5%
PS: 30%
CDU: 4,2%
BE: 3,1%
MPT: 0.6%
Indecisos:19,5%
Se não erro, faltam aqui 11,1% que a notícia não esclarece no que consistem.
PS: 30%
CDU: 4,2%
BE: 3,1%
MPT: 0.6%
Indecisos:19,5%
Se não erro, faltam aqui 11,1% que a notícia não esclarece no que consistem.
Braga. Eurosondagem, 1-2 Outubro, N=530, Tel.
PS: 46,9% (44,8 a 49%)
PSD/CDS-PP: 36,9% (35 a 38,8%)
CDU: 6,9% (6 a 7,8%)
BE:6% (5 a 6,9%)
MPT: 0,4%
A soma disto dá 97,1%.
Aqui.
PSD/CDS-PP: 36,9% (35 a 38,8%)
CDU: 6,9% (6 a 7,8%)
BE:6% (5 a 6,9%)
MPT: 0,4%
A soma disto dá 97,1%.
Aqui.
Porto. Aximage, 2-4 Outubro, N=500, Tel.
Tal como divulgada:
PSD/CDS-PP: 44,6%
PS: 33,0%
CDU: 9,3%
BE: 5,6%
OBN: 3,7%
Indecisos: 3,8%
Após redistribuição proporcional de indecisos:
PSD/CDS-PP: 46,4%
PS: 34,3%
CDU: 9,7%
BE: 5,8%
OBN: 3,8%
PSD/CDS-PP: 44,6%
PS: 33,0%
CDU: 9,3%
BE: 5,6%
OBN: 3,7%
Indecisos: 3,8%
Após redistribuição proporcional de indecisos:
PSD/CDS-PP: 46,4%
PS: 34,3%
CDU: 9,7%
BE: 5,8%
OBN: 3,8%
Matosinhos. Aximage, 4-6 Out., N=500, Tel.
Tal como divulgada:
PS: 40,7%
Narciso Miranda: 22,3%
PSD/CDS-PP: 18,1%
BE: 6,3%
CDU: 3,9%
OBN: 3,4%
Indecisos: 5,3%
Após redistribuição proporcional de indecisos:
PS: 43,0%
Narciso Miranda: 23,5%
PSD/CDS-PP: 19,1%
BE: 6,7%
CDU: 4,1%
OBN: 3,6%
PS: 40,7%
Narciso Miranda: 22,3%
PSD/CDS-PP: 18,1%
BE: 6,3%
CDU: 3,9%
OBN: 3,4%
Indecisos: 5,3%
Após redistribuição proporcional de indecisos:
PS: 43,0%
Narciso Miranda: 23,5%
PSD/CDS-PP: 19,1%
BE: 6,7%
CDU: 4,1%
OBN: 3,6%
Matosinhos. CESOP-UCP, 2-4 Out., N=1257, Presencial.
O relatório-síntese pode ser descarregado aqui.
quarta-feira, outubro 07, 2009
Ritual
Retomando um já velho e sempre belo ritual das eleições autárquicas, venho informar que o CESOP-UCP apenas conduziu sondagens nos concelhos do Porto, Lisboa, Matosinhos e Oeiras. Tudo as restantes "sondagens da Católica" não existem, ou se existem não são da Católica.
Shameless, shameless, shameless plugs
1. Já está disponível online, na Public Choice, o artigo que escrevi com o LA-C sobre referendos e abstenção. Tudo começou com dois artigos de jornal: este e este (que, de resto, tinham sido antecedidos por um post de 2005 do LA-C no Destreza das Dúvidas). E foi uma das experiências mais interessantes em toda a minha vida profissional.
2. Dia 26 de Outubro, no ICS, terá lugar a palestra Sedas Nunes, proferida por Josep Colomer, cientista político da Pompeu Fabra e, já agora, blogger. Serão também entregues os Prémios Análise Social destinados a galardoar o melhor artigo publicado nesta revista em 2008, assim como o Prémio Especial do Júri para o melhor artigo publicado, também na Análise Social, por um jovem investigador. O júri, presidido por Jaime Reis (ICS), é composto por Jorge Flores (U. Brown), Peter Fry (U. Federal Rio de Janeiro) e Philippe Schmitter (IUE). O Prémio Especial do Júri foi para este artigo do Renato Miguel do Carmo. O Prémio Análise Social foi para este.
2. Dia 26 de Outubro, no ICS, terá lugar a palestra Sedas Nunes, proferida por Josep Colomer, cientista político da Pompeu Fabra e, já agora, blogger. Serão também entregues os Prémios Análise Social destinados a galardoar o melhor artigo publicado nesta revista em 2008, assim como o Prémio Especial do Júri para o melhor artigo publicado, também na Análise Social, por um jovem investigador. O júri, presidido por Jaime Reis (ICS), é composto por Jorge Flores (U. Brown), Peter Fry (U. Federal Rio de Janeiro) e Philippe Schmitter (IUE). O Prémio Especial do Júri foi para este artigo do Renato Miguel do Carmo. O Prémio Análise Social foi para este.
Faro. Aximage, 2-4 Outubro, N=500, Tel.
PSD/CDS-PP/MPT/PPM: 41,1%
PS: 39,1%
Indecisos: 4%
Restantes dados não disponíveis na notícia online do CM.
Actualização:
PSD/CDS-PP/MPT/PPM: 41,1%
PS: 39,1%
CDU: 6,1%
José Vitorino: 4,9%
BE: 2,6%
OBN: 4%
Indecisos: 2,2%
Aqui (obrigado Beijokense).
PS: 39,1%
Indecisos: 4%
Restantes dados não disponíveis na notícia online do CM.
Actualização:
PSD/CDS-PP/MPT/PPM: 41,1%
PS: 39,1%
CDU: 6,1%
José Vitorino: 4,9%
BE: 2,6%
OBN: 4%
Indecisos: 2,2%
Aqui (obrigado Beijokense).
sexta-feira, outubro 02, 2009
Porto. Eurosondagem, 28-30 Set., N=736, Tel.
PSD/CDS-PP: 45,9-50,1% (48%)
PS: 31,4-35,2% (33,3%)
CDU: 8,3-10,5% (9,4%)
BE: 4,5-7% (5,8%)
PCTP/MRPP: 0,4%
Aqui.
PS: 31,4-35,2% (33,3%)
CDU: 8,3-10,5% (9,4%)
BE: 4,5-7% (5,8%)
PCTP/MRPP: 0,4%
Aqui.
Setúbal. Eurosondagem, 28-29 Set., N=510, Tel.
CDU: 35,8-40% (37,9%)
PS: 27,5-31,3% (29,4%)
PSD: 14,5-17,9% (16,2%)
BE: 6,9-8,7% (7,8%)
CDS-PP: 4,4-6% (5,2%)
16,7% não responderam ou não sabem em quem votarão.
PS: 27,5-31,3% (29,4%)
PSD: 14,5-17,9% (16,2%)
BE: 6,9-8,7% (7,8%)
CDS-PP: 4,4-6% (5,2%)
16,7% não responderam ou não sabem em quem votarão.
Só outra gracinha
Se o Trocas tivesse sido uma sondagem para as legislativas, por quanto tinha falhado? Eis as últimas cotações antes do fecho do mercado dia 27 às 19.00h de Portugal Continental:
PS: 34
PSD: 32,5
CDS-PP: 8,95
BE: 11,05
CDU: 8
O desvio absoluto médio em relação aos resultados nacionais finais foi de 1,76. Melhor que a Marktest. Não levem isto demasiado a sério (sondagens não são previsões, sondagens - incluindo Marktest - feitas a vários dias da eleição, mercados incorporam informação das sondagens, etc, etc, etc). Mas que tem uma certa graça, até tem.
PS: 34
PSD: 32,5
CDS-PP: 8,95
BE: 11,05
CDU: 8
O desvio absoluto médio em relação aos resultados nacionais finais foi de 1,76. Melhor que a Marktest. Não levem isto demasiado a sério (sondagens não são previsões, sondagens - incluindo Marktest - feitas a vários dias da eleição, mercados incorporam informação das sondagens, etc, etc, etc). Mas que tem uma certa graça, até tem.
Autárquicas
Tal como há quatro anos, a Marktest tem um dossier sobre as sondagens publicadas sobre as autárquicas. Creio que lhes faltarão algumas, mas a arrumação e apresentação são boas, como habitualmente.
(Via Beijokense)
(Via Beijokense)
Oeiras. Eurosondagem, 29-30 Set., N=548, Tel.
Isaltino: 39-43,2% (ponto central: 41,1%)
PS: 21,2-25% (ponto central:23,1%)
PSD/CDS-PP/PPM: 16,9-20,7% (ponto central:18,8%)
CDU:7,2-9,4% (ponto central:8,3%)
BE:4,3-6,1% (ponto central:5,2%)
PCTP/MRPP:0,4%
A soma disto dá 96,9%, pelo que se infere que OBN=3,1%. 12,4% da amostra são NS/NR. Tudo aqui.
PS: 21,2-25% (ponto central:23,1%)
PSD/CDS-PP/PPM: 16,9-20,7% (ponto central:18,8%)
CDU:7,2-9,4% (ponto central:8,3%)
BE:4,3-6,1% (ponto central:5,2%)
PCTP/MRPP:0,4%
A soma disto dá 96,9%, pelo que se infere que OBN=3,1%. 12,4% da amostra são NS/NR. Tudo aqui.
Trocas 1.1.4
No Trocas de Opinião, há agora gráficos que mostram a evolução das médias móveis ponderadas para cada cotação. Sobre as cotações propriamente ditas, o que pensa o mercado?
- Que a probabilidade de Pedro Santana Lopes ganhar as autárquicas em Lisboa é muito baixa. Já houve centenas de transações deste contrato, na sua esmagadora maioria abaixo de 10, e o índice nunca ultrapassou os 10. A última cotação, no momento em que escrevo: 6,5.
- Que a probabilidade de que Rui Rio ganhe a câmara do Porto com maioria absoluta é elevada. A cotação está acima dos 70 pontos desde 30 de Setembro. Dito isto, houve um número muito grande de títulos transaccionados a valores inferiores aos 50 e só com as últimas transacções o índice começou a recuperar.
- As vitórias de Isaltino em Oeiras e Narciso em Matosinhos não são vistas como garantidas. Cotação abaixo dos 50. Mas no caso de Isaltino, a subir.
- Que a vitória de Paulo Pedroso é Almada é vista como improvável. Houve picos com transações a 40, mas descida posterior em cotações e índice. Actual cotação é 5.
- A probabilidade do PSD obter 160 câmaras (teve 156 em 2005) é baixa, apesar da cotação estar a subir. Mas contrato pouco transaccionado.
Vamos ver como e se o mercado reage quando começarem a sair as últimas sondagens antes das eleições.
P.S.- Hesitámos, mas aí vão dois contratos de longo prazo: "Cavaco Silva recandidata-se à Presidência da República em 2011?" e "Governo cai antes de Setembro de 2010?".
- Que a probabilidade de Pedro Santana Lopes ganhar as autárquicas em Lisboa é muito baixa. Já houve centenas de transações deste contrato, na sua esmagadora maioria abaixo de 10, e o índice nunca ultrapassou os 10. A última cotação, no momento em que escrevo: 6,5.
- Que a probabilidade de que Rui Rio ganhe a câmara do Porto com maioria absoluta é elevada. A cotação está acima dos 70 pontos desde 30 de Setembro. Dito isto, houve um número muito grande de títulos transaccionados a valores inferiores aos 50 e só com as últimas transacções o índice começou a recuperar.
- As vitórias de Isaltino em Oeiras e Narciso em Matosinhos não são vistas como garantidas. Cotação abaixo dos 50. Mas no caso de Isaltino, a subir.
- Que a vitória de Paulo Pedroso é Almada é vista como improvável. Houve picos com transações a 40, mas descida posterior em cotações e índice. Actual cotação é 5.
- A probabilidade do PSD obter 160 câmaras (teve 156 em 2005) é baixa, apesar da cotação estar a subir. Mas contrato pouco transaccionado.
Vamos ver como e se o mercado reage quando começarem a sair as últimas sondagens antes das eleições.
P.S.- Hesitámos, mas aí vão dois contratos de longo prazo: "Cavaco Silva recandidata-se à Presidência da República em 2011?" e "Governo cai antes de Setembro de 2010?".
quarta-feira, setembro 30, 2009
Tableau de bord para os próximos tempos
Uma coisa curiosa - mas não surpreendente - é que o Barómetro da Marktest de Setembro de 2009 foi o primeiro em que 20% dos votantes no PS exprimiram uma opinião negativa sobre a actuação do PR. Nos meses anteriores, essa percentagem andou em torno ou abaixo dos 10%.
De volta
O Trocas de Opinião tem seis novos contratos: 5 sobre autárquicas e um da bola, para um total de oito. E para o dia seguinte às autárquicas há já vários outros contratos na calha, vários deles sugeridos por vós por e-mail, no Twitter e na caixa de comentários (que esta Legislatura promete vir a ser muito animada).
Novidade: não é possível ter ordens pendentes para mais de 400 contratos. Foi a maneira mais simples e rápida de tentar controlar um pouco a orgia das vendas a descoberto. Vão lá às compras e vão dizendo coisas.
Novidade: não é possível ter ordens pendentes para mais de 400 contratos. Foi a maneira mais simples e rápida de tentar controlar um pouco a orgia das vendas a descoberto. Vão lá às compras e vão dizendo coisas.
segunda-feira, setembro 28, 2009
Rescaldo das previsões eleitorais
Os cientistas sociais estão habituados a explicar por que motivo erraram nas suas previsões. Quando, antes do Verão de 2008, eu e o Pedro Magalhães nos propusemos a prever os resultados das eleições legislativas de 2009, estávamos, naturalmente, preparados para que tal viesse novamente a acontecer. Esse trabalho, publicado na Ipris Verbis, teve destaque de primeira página no semanário Sol.
Uns tempos depois de escrito e publicado, as condições que nos permitiram fazer as previsões alteraram-se com a crise financeira internacional. As nossas previsões baseavam-se em dados do pós 25 de Abril e nos nossos dados nada havia de comparável a esta crise. Estávamos preparados para justificar eventuais erros nas nossas previsões com base nisso. A crise financeira internacional, que atirou o mundo para uma recessão apenas comparável à dos anos 30 do século passado, tornou estas eleições num perfeito outlier. Qualquer tiro na água seria facilmente explicado.
Mas a realidade trocou-nos as voltas. A nossa previsão resumia-se a dois números: 38% para o PS e 27% para o PSD. Valores notavelmente próximos do resultado final. Assim, em vez de explicarmos por que motivo falharam as nossas previsões, vemo-nos na peculiar contingência de ter de explicar por que motivo acertámos, apesar dmudança radical de cenário.
É um assunto que iremos explorar em trabalhos futuros, mas, à primeira vista, há duas hipóteses óbvias. A primeira hipótese, e como não podia deixar de ser, é a de que o nosso modelo de muito pouco vale e se acertámos quase em cheio tal aconteceu por mero acaso. Ou seja, a sorte explica o sucesso da previsão. Uma segunda hipótese é mais simpática. Com a crise internacional, os eleitores ficaram com dificuldades em responsabilizar os governos pelas más performances da Economia que ocorreram no último ano. Assim, quando chamados a votar, fizeram a avaliação do governo com base nos dados que havia disponíveis antes da crise. Se esta segunda hipótese estiver correcta, então não é de admirar que o nosso modelo se tenha portado tão bem, dado que usámos os dados económicos que estavam disponíveis até pouco antes da crise internacional se alastrar para Portugal.
Neste momento, e com honestidade intelectual, teremos de reconhecer que não sabemos qual das duas hipóteses estará correcta. Quando estudarmos a questão, e como acontece tantas vezes, é até provável que surja uma terceira explicação que de momento não descortinamos.
Publicado em estéreo na Destreza das Dúvidas.
Alemanha
Uma curiosidade: resultados eleitorais e sondagens na Alemanha.
2005 tinha sido o Titanic das sondagens alemãs. Desta vez, tudo normal.
2005 tinha sido o Titanic das sondagens alemãs. Desta vez, tudo normal.
O Trocas
Antes de mais, um sincero agradecimento a todos os que, passando por este blogue ou chegando lá de outra forma, aceitaram o desafio de "brincar" aos mercados de previsões na experiência do Trocas de Opinião. E especialmente às muitas pessoas que foram deixando aqui, nas caixas de comentários, muitas e muito boas sugestões sobre como melhorar o funcionamento do mercado. Algumas ainda puderam ser implementadas, outras não. Mas queria dizer que receber estas reacções, quase invariavelmente úteis e inteligentes, foi uma das coisas mais compensadoras e interessantes para mim em mais de quatro anos de Margens de Erro.
Rescaldo? Não é muito fácil. Vamos ter de analisar os logs e tentar perceber exactamente o que se foi passando ao longo do tempo. De resto, uma das pessoas envolvidas no projecto tenciona escrever uma tese sobre o assunto, pelo que a coisa é capaz de demorar um bocadinho. E aproximam-se as autárquicas, com novos contratos, pelo que o tempo para analisar e implementar soluções é curtíssimo.
Uma coisa é evidente: a possibilidade das vendas a descoberto, sendo interessante para gerar liquidez inicial, abriu grandes hipóteses de manipulação do mercado e gerou grande volatilidade. Mais ainda, o facto de não as termos limitado criou uma assimetria: para comprar, há um limite, o dos trocos disponíveis; para vender, não havia. Pelo que uma das coisas que tentaremos implementar nos próximos dias é uma forma de limitar as vendas a descoberto. Num dos logs que vi havia um investidor que fez muitas dezenas de vendas de 100 títulos de um contrato a 1 troco. Isto vai deixar de ser possível. Claro que, com grande liquidez e - muito especialmente - dinheiro a sério - a cantiga seria outra. Mas vamos tentar fazer, para já, o possível. Mais tarde, há muitas outras óptimas ideias vossas que tentaremos implementar.
O João Miranda - de resto, um dos grandes magnatas do Trocas, como verificarão se olharem para os rankings - fez ontem um post onde alinhava, com base nos valores da oferta e da procura a meio da tarde, as possíveis previsões que resultavam do mercado. Dizer se foram "boas" ou "más" é difícil. Poder-se-ia eventualmente dizer que poderiam servir de antídoto em relação quer às sondagens pré-eleitorais quer às próprias sondagens à boca das urnas, que sobrestimaram (mais as segundas que as primeiras, curiosamente) a margem de vitória do PS sobre o PSD. Mas não vale a pena entrar muito por aí: a verdade é que, nesta experiência, ainda ficámos longe da quase infalibilidade de coisas como o IEM, um mercado a dinheiro vivo e onde, não por acaso, não se permitem vendas a descoberto. Mas quem sabe se, com a vossa ajuda, não lá chegaremos? Para já, muito obrigado a todos, e aguardem as novidades.
Rescaldo? Não é muito fácil. Vamos ter de analisar os logs e tentar perceber exactamente o que se foi passando ao longo do tempo. De resto, uma das pessoas envolvidas no projecto tenciona escrever uma tese sobre o assunto, pelo que a coisa é capaz de demorar um bocadinho. E aproximam-se as autárquicas, com novos contratos, pelo que o tempo para analisar e implementar soluções é curtíssimo.
Uma coisa é evidente: a possibilidade das vendas a descoberto, sendo interessante para gerar liquidez inicial, abriu grandes hipóteses de manipulação do mercado e gerou grande volatilidade. Mais ainda, o facto de não as termos limitado criou uma assimetria: para comprar, há um limite, o dos trocos disponíveis; para vender, não havia. Pelo que uma das coisas que tentaremos implementar nos próximos dias é uma forma de limitar as vendas a descoberto. Num dos logs que vi havia um investidor que fez muitas dezenas de vendas de 100 títulos de um contrato a 1 troco. Isto vai deixar de ser possível. Claro que, com grande liquidez e - muito especialmente - dinheiro a sério - a cantiga seria outra. Mas vamos tentar fazer, para já, o possível. Mais tarde, há muitas outras óptimas ideias vossas que tentaremos implementar.
O João Miranda - de resto, um dos grandes magnatas do Trocas, como verificarão se olharem para os rankings - fez ontem um post onde alinhava, com base nos valores da oferta e da procura a meio da tarde, as possíveis previsões que resultavam do mercado. Dizer se foram "boas" ou "más" é difícil. Poder-se-ia eventualmente dizer que poderiam servir de antídoto em relação quer às sondagens pré-eleitorais quer às próprias sondagens à boca das urnas, que sobrestimaram (mais as segundas que as primeiras, curiosamente) a margem de vitória do PS sobre o PSD. Mas não vale a pena entrar muito por aí: a verdade é que, nesta experiência, ainda ficámos longe da quase infalibilidade de coisas como o IEM, um mercado a dinheiro vivo e onde, não por acaso, não se permitem vendas a descoberto. Mas quem sabe se, com a vossa ajuda, não lá chegaremos? Para já, muito obrigado a todos, e aguardem as novidades.
Rescaldo
As abordagens habituais para apreciar a relação entre os resultados da sondagens e os resultados das eleições são os erros 3 e 5 de Mosteller. No erro 3, calcula-se a média dos desvios absolutos entre resultados e estimativas. No erro 5, o desvio em relação à margem de vitória. A maneira mais rough and ready de fazer isto é esta (dado o adiantado da hora, espero não ter errado nas contas, mas sei que há leitores atentos que não deixarão de me avisar se for esse o caso, o que agradeço):
Os resultados, em geral, não chegam a ser tão bons como os de 2005 - a eleição com as sondagens mais próximas dos resultados eleitorais de sempre - mas não ficaram longe disso. Este foi, de resto, o segundo conjunto de sondagens legislativas pré-eleitorais que acabou por ficar mais próximo dos resultados desde 1991, inclusive.
Recordo que, nas Europeias, o erro médio andou entre os 2,5 e os 2,7 (e sobre o erro 5 melhor nem falar, dado que só a Marktest tinha sequer colocado o PSD à frente). Desta feita, os erros médios oscilam entre 0,9 e 2. Foi a Aximage que publicou a sondagem com o menor desvio absoluto médio, e o CESOP a que mais se aproximou da margem de vitória. Mas as diferenças são, na maior parte dos casos, muito curtas e sem significado. No que respeita ao erro 3, até o facto da Marktest ter ficado um pouco mais longe pode estar ligado ao facto de ter terminado o trabalho de campo mais cedo (21 de Setembro, em vez 22 no CESOP, 23 na Intercampus e 24 na Aximage) ou, eventualmente, ter a amostra mais pequena. Mas estas sondagens estiveram mais próximas dos resultados eleitorais que as de todas as legislativas recentes com excepção da de 2005. A média dos erros 3 foi, desta vez, de 1,4, e no caso do erro 5 foi 1,1. Em 1991, 1995, 1999 e 2002, a performance foi sempre pior dos dois pontos de vista (apesar de - importa notar - só a comparação entre 2002, 2005 e 20o9 ser inteiramente justa, dado que, antes disso, a publicação e o trabalho de campo tinham de terminar mais cedo).
Já que estamos nisto, para os puristas: na verdade, o cálculo do erro 3 da forma mais canónica possível exige algumas operações adicionais:
1. Recalcular as estimativas que estão a ser comparadas com resultados eleitorais (as dos 5 principais partidos) de forma que a sua soma dê 100%.
2. Arrendondar cada estimativa à unidade.
3. Comparar com o resultado do verdadeiro universo das sondagens pré-eleitorais, ou seja, os resultados do Continente, transformados de forma a que a soma das percentagens dos cinco principais partidos dê também 100%;
4. Apresentar e tratar os resultados reais com uma casa decimal.
Fica aqui só para memória futura, porque do ponto de vista substantivo não faz grande diferença:
Nas sondagens à boca das urnas, não vale a pena estar com estas minudências, dado que todos os institutos estarão, com toda a probabilidade, a projectar para o todo nacional. Tomando o ponto central dos intervalos como a melhor estimativa, ficamos com o seguinte quadro:
Aqui, curiosamente, a sobrestimação da margem de vitória do PS nas sondagens à boca das urnas foi maior que no caso das sondagens pré-eleitorais. Aliás, o mesmo já tinha acontecido em 2005. Mas em 2005, os erros 3 também foram maiores nas boca da urnas do que nas pré-eleitorais. Isso já não sucedeu desta vez.
Uma coisa para meditar, se me permitem: as pessoas e os institutos que fizeram estas sondagens foram as mesmas que, há poucos meses, fizeram as sondagens das Europeias. E os métodos que utilizaram sofreram poucas ou nenhumas mudanças. Logo, da mesma forma que não me parece ter havido razão para demonizar as sondagens após as Europeias, também não me parece sensato "embandeirar em arco" com estas. A razão pela qual estas sondagens pré-eleitorais estiveram muito mais próximas do resultado final do que as sondagens pré-eleitorais para as últimas Europeias não tem nada a ver com a aquisição recente de poderes mágicos por parte dos institutos ou com mudanças radicais nas metodologias utilizadas. Muito mais sensato é pensar que há qualquer coisa que caracteriza as eleições Europeias que faz com que haja sempre maiores discrepâncias entre os resultados das sondagens e os resultados dessas eleições. E um bom palpite para essa coisa é, como há muito tempo se sabe, a abstenção.
Também não é por causa do que se passou agora que as sondagens passam a ser previsões de resultados eleitorais. Não eram, não são, e não é por terem estado próximo agora ou em 2005 que passam a ser. São sondagens. Há casos em que o retrato tirado a vários dias das eleições se mantém razoavelmente fiel ao que se vem a passar depois. Há até casos onde as tendências verificadas ao longo das sondagens pré-eleitorais são bons indicadores para o que possa ocorrer depois dessas sondagens terem sido realizadas. Mas também há casos, e vai continuar a haver, em que isso não sucede. Espero que a comparação entre o que se passou nas Europeias e o que se passou agora acabe por ter, desta forma, algum valor pedagógico. Espero, mas a julgar pelo que vou lendo tenho a impressão que, mesmo assim, e até entre gente que acho inteligente, continuamos na mesma. O problema, lamento, não são as "percepções dos leitores": o problema é quando aqueles que têm maiores responsabilidades na formação dos tais leitores correm para o pelourinho mais depressa do que eles.
Já agora: atenção ao que vem aí para as autárquicas. Uma das coisas que se sabe na literatura sobre a abstenção é que ela tende a ser maior em circunstâncias em que uma eleição foi precedida de outra eleição há pouco tempo ou quando se dá num quadro de frequentes eleições num curto espaço de tempo. "Fadiga eleitoral", diz-se. Se isso se confirmar, todos os avisos sobre as dificuldades em usar as sondagens com elemento de previsão, apesar de repetitivos, serão sempre poucos.
Os resultados, em geral, não chegam a ser tão bons como os de 2005 - a eleição com as sondagens mais próximas dos resultados eleitorais de sempre - mas não ficaram longe disso. Este foi, de resto, o segundo conjunto de sondagens legislativas pré-eleitorais que acabou por ficar mais próximo dos resultados desde 1991, inclusive.
Recordo que, nas Europeias, o erro médio andou entre os 2,5 e os 2,7 (e sobre o erro 5 melhor nem falar, dado que só a Marktest tinha sequer colocado o PSD à frente). Desta feita, os erros médios oscilam entre 0,9 e 2. Foi a Aximage que publicou a sondagem com o menor desvio absoluto médio, e o CESOP a que mais se aproximou da margem de vitória. Mas as diferenças são, na maior parte dos casos, muito curtas e sem significado. No que respeita ao erro 3, até o facto da Marktest ter ficado um pouco mais longe pode estar ligado ao facto de ter terminado o trabalho de campo mais cedo (21 de Setembro, em vez 22 no CESOP, 23 na Intercampus e 24 na Aximage) ou, eventualmente, ter a amostra mais pequena. Mas estas sondagens estiveram mais próximas dos resultados eleitorais que as de todas as legislativas recentes com excepção da de 2005. A média dos erros 3 foi, desta vez, de 1,4, e no caso do erro 5 foi 1,1. Em 1991, 1995, 1999 e 2002, a performance foi sempre pior dos dois pontos de vista (apesar de - importa notar - só a comparação entre 2002, 2005 e 20o9 ser inteiramente justa, dado que, antes disso, a publicação e o trabalho de campo tinham de terminar mais cedo).
Já que estamos nisto, para os puristas: na verdade, o cálculo do erro 3 da forma mais canónica possível exige algumas operações adicionais:
1. Recalcular as estimativas que estão a ser comparadas com resultados eleitorais (as dos 5 principais partidos) de forma que a sua soma dê 100%.
2. Arrendondar cada estimativa à unidade.
3. Comparar com o resultado do verdadeiro universo das sondagens pré-eleitorais, ou seja, os resultados do Continente, transformados de forma a que a soma das percentagens dos cinco principais partidos dê também 100%;
4. Apresentar e tratar os resultados reais com uma casa decimal.
Fica aqui só para memória futura, porque do ponto de vista substantivo não faz grande diferença:
Nas sondagens à boca das urnas, não vale a pena estar com estas minudências, dado que todos os institutos estarão, com toda a probabilidade, a projectar para o todo nacional. Tomando o ponto central dos intervalos como a melhor estimativa, ficamos com o seguinte quadro:
Aqui, curiosamente, a sobrestimação da margem de vitória do PS nas sondagens à boca das urnas foi maior que no caso das sondagens pré-eleitorais. Aliás, o mesmo já tinha acontecido em 2005. Mas em 2005, os erros 3 também foram maiores nas boca da urnas do que nas pré-eleitorais. Isso já não sucedeu desta vez.
Uma coisa para meditar, se me permitem: as pessoas e os institutos que fizeram estas sondagens foram as mesmas que, há poucos meses, fizeram as sondagens das Europeias. E os métodos que utilizaram sofreram poucas ou nenhumas mudanças. Logo, da mesma forma que não me parece ter havido razão para demonizar as sondagens após as Europeias, também não me parece sensato "embandeirar em arco" com estas. A razão pela qual estas sondagens pré-eleitorais estiveram muito mais próximas do resultado final do que as sondagens pré-eleitorais para as últimas Europeias não tem nada a ver com a aquisição recente de poderes mágicos por parte dos institutos ou com mudanças radicais nas metodologias utilizadas. Muito mais sensato é pensar que há qualquer coisa que caracteriza as eleições Europeias que faz com que haja sempre maiores discrepâncias entre os resultados das sondagens e os resultados dessas eleições. E um bom palpite para essa coisa é, como há muito tempo se sabe, a abstenção.
Também não é por causa do que se passou agora que as sondagens passam a ser previsões de resultados eleitorais. Não eram, não são, e não é por terem estado próximo agora ou em 2005 que passam a ser. São sondagens. Há casos em que o retrato tirado a vários dias das eleições se mantém razoavelmente fiel ao que se vem a passar depois. Há até casos onde as tendências verificadas ao longo das sondagens pré-eleitorais são bons indicadores para o que possa ocorrer depois dessas sondagens terem sido realizadas. Mas também há casos, e vai continuar a haver, em que isso não sucede. Espero que a comparação entre o que se passou nas Europeias e o que se passou agora acabe por ter, desta forma, algum valor pedagógico. Espero, mas a julgar pelo que vou lendo tenho a impressão que, mesmo assim, e até entre gente que acho inteligente, continuamos na mesma. O problema, lamento, não são as "percepções dos leitores": o problema é quando aqueles que têm maiores responsabilidades na formação dos tais leitores correm para o pelourinho mais depressa do que eles.
Já agora: atenção ao que vem aí para as autárquicas. Uma das coisas que se sabe na literatura sobre a abstenção é que ela tende a ser maior em circunstâncias em que uma eleição foi precedida de outra eleição há pouco tempo ou quando se dá num quadro de frequentes eleições num curto espaço de tempo. "Fadiga eleitoral", diz-se. Se isso se confirmar, todos os avisos sobre as dificuldades em usar as sondagens com elemento de previsão, apesar de repetitivos, serão sempre poucos.
domingo, setembro 27, 2009
sexta-feira, setembro 25, 2009
Trocas 1.1.3
Uma novidade: a apresentação de uma média móvel ponderada das cotações para cada contrato. Infelizmente, não há tempo para construir gráficos. Mas olhar para o índice pode servir como antídoto para a excessiva volatilidade das cotações. Se bem que, ao longo deste dia, as coisas parecem ter estabilizado mais um pouco.
Recta final
Na última semana antes das eleições legislativas de 2005, numa 4ª feira, salvo erro, jantei com um grupo de colegas do ICS. Falou-se nas eleições e, a certa altura, alguém se lembrou de apostarmos um futuro jantar num restaurante à escolha na base dos melhores palpites para os resultados. O vencedor seria o que tivesse o menor desvio absoluto médio, assim que apurados os resultados dos 5 maiores partidos. Cada um escreveu os seus palpites numa pequena folha de papel. Depois, trocámos as folhas, comentámos os palpites de cada um, e fomos para casa. Estão a ver como é absolutamente fascinante a minha vida social?
A verdade é que nunca cheguei a cobrar esse jantar aos meus colegas. Eles ficaram a achar que eu tinha inside information, e tinham razão. À hora do dito jantar, já conhecia os resultados da última sondagem do CESOP. Mas o interessante - e suponho que até hoje eles não repararam - é que os meus palpites foram ligeiramente diferentes dos resultados da sondagem que foi divulgada no dia seguinte. Dei, no palpite, um pouco menos ao PSD e ao BE e um pouco mais ao CDS do que na sondagem. Achei que a campanha estava a correr tão mal a PSL que as coisas ainda iriam piorar nos dias seguintes ao trabalho de campo. Receei uma presumível propensão dos eleitores do BE para votarem "sincero" em sondagens e "útil" nas eleições ou mesmo para se desmobilizarem à última hora. Tive em conta o facto de o CDS-PP, em quase todas as eleições a que concorreu sózinho nos últimos anos, ir sempre em crescendo nas várias sondagens ao longo da campanha, presumindo assim que, na tendência, poderiam fazer melhor no final. Já não sei onde está a dita folhinha, mas recordo-me que, com estas "teorias", acertei em cheio nos resultados. Mas as "teorias" não eram grande coisa: foi provavelmente mera sorte, porque das vezes seguintes que fiz a mesma brincadeira as coisas não correram tão bem.
Se conto a historieta é porque acho que ajuda a perceber a diferença entre aquilo que as sondagens dizem, dessa e desta vez, e aquilo que é uma previsão de um resultado eleitoral (neste caso um mero palpite pessoal). Intrigam-me sempre as pessoas que comentam aqui resultados de sondagens, por vezes ainda a meses das eleições, dizendo "já se sabe que o partido x vai ter mais" ou "é impossível que o partido y tenha isto nas eleições". Se os meus amigos já sabem quais vão ser os resultados e se isso é a única coisa que vos interessa, então por que razão prestam atenção a meras sondagens? (Vão mas é brincar para aqui). Por outras palavras, se bem que não seja possível apurar isto neste momento, a diversidade de abordagens metodológicas das últimas quatro sondagens, conjugada com a similitude dos seus resultados, fazem-me supor que é improvável que não tenham medido com razoável precisão as intenções de voto dos portugueses no momento em que foram feitas (o único receio que tenho a esse respeito é que haja, comum a todas, uma propensão de determinado tipo de eleitor para ocultar as suas intenções, para recusar responder a sondagens ou para não ser encontrado no processo amostral). Mas daí até supor que os resultados do dia 27 vão ser iguais às sondagens vai um salto que, podendo perfeitamente ter por base inicial os resultados das sondagens - como eu tive na minha "previsão" de 2005 - pode ser muito arriscado.
De resto, os líderes partidários, pelas reacções que tiveram às sondagens, mostram que sabem isso perfeitamente: ninguém entrega os pontos, e todos utilizam uma retórica que visa mitigar (ou amplificar) aqueles que julgam ser os efeitos negativos (ou positivos) das próprias percepções criadas pelas sondagens no futuro comportamento dos eleitores. Sócrates diz que sondagens não ganham eleições e combate a "abstenção por certeza de vitória". MFL e Jerónimo combatem a potencial desmobilização dos seus eleitores em face de resultados desfavoráveis. Louçã combate o voto útil no PS, tentando tornar o voto no BE útil para impedir uma putativa maioria PS. Portas usa-as para mobilizar os eleitores do CDS-PP e sugerir uma suposta "inutilidade" do voto no PSD. Em suma: eles acreditam que algumas coisas ainda podem mudar até dia 27, e estão a fazer o possível para que mudem. Tudo normal. É assim mesmo.
É claro, no entanto, que quaisquer especulações sobre o dia 27 podem repousar na relação entre o retrato feito a dias das eleições pelas sondagens das intenções de voto e aquilo que tende a suceder em eleições legislativas. E sobre isso, só tenho isto a dizer:
1. Com estes resultados medidos a menos de uma semana da eleição, se o PS perder, as eleições de 2009 vão-se tornar um estudo de caso apenas comparável ao que sucedeu no Reino Unido em 1992. O que teria uma vantagem, atraíndo para o país uma legião de cientistas políticos sem paralelo desde o PREC :-)
2. No momento em que foram feitas, as sondagens vistas no seu conjunto (uma amostra agregada de 4925 inquiridos), sugerem que havia mais intenções de voto no BE do que no CDS-PP (2,3 pontos de vantagem para uma margem de erro de 1,2 pontos). Mas nem sequer são capazes de dizer se a margem do CDS-PP sobre a CDU (0,6 pontos) correspondia a qualquer coisa de real na inferência para a população. E dito isto, quem sabe se o BE volta a conseguir resistir a alguma desmobilização de última hora? Nas Europeias resistiu. E desta vez?
O resto seria pura especulação, e para isso vou ao Trocas. Em suma: larguem lá as sondagens e vão mas é votar em quem e como acharem melhor.
A verdade é que nunca cheguei a cobrar esse jantar aos meus colegas. Eles ficaram a achar que eu tinha inside information, e tinham razão. À hora do dito jantar, já conhecia os resultados da última sondagem do CESOP. Mas o interessante - e suponho que até hoje eles não repararam - é que os meus palpites foram ligeiramente diferentes dos resultados da sondagem que foi divulgada no dia seguinte. Dei, no palpite, um pouco menos ao PSD e ao BE e um pouco mais ao CDS do que na sondagem. Achei que a campanha estava a correr tão mal a PSL que as coisas ainda iriam piorar nos dias seguintes ao trabalho de campo. Receei uma presumível propensão dos eleitores do BE para votarem "sincero" em sondagens e "útil" nas eleições ou mesmo para se desmobilizarem à última hora. Tive em conta o facto de o CDS-PP, em quase todas as eleições a que concorreu sózinho nos últimos anos, ir sempre em crescendo nas várias sondagens ao longo da campanha, presumindo assim que, na tendência, poderiam fazer melhor no final. Já não sei onde está a dita folhinha, mas recordo-me que, com estas "teorias", acertei em cheio nos resultados. Mas as "teorias" não eram grande coisa: foi provavelmente mera sorte, porque das vezes seguintes que fiz a mesma brincadeira as coisas não correram tão bem.
Se conto a historieta é porque acho que ajuda a perceber a diferença entre aquilo que as sondagens dizem, dessa e desta vez, e aquilo que é uma previsão de um resultado eleitoral (neste caso um mero palpite pessoal). Intrigam-me sempre as pessoas que comentam aqui resultados de sondagens, por vezes ainda a meses das eleições, dizendo "já se sabe que o partido x vai ter mais" ou "é impossível que o partido y tenha isto nas eleições". Se os meus amigos já sabem quais vão ser os resultados e se isso é a única coisa que vos interessa, então por que razão prestam atenção a meras sondagens? (Vão mas é brincar para aqui). Por outras palavras, se bem que não seja possível apurar isto neste momento, a diversidade de abordagens metodológicas das últimas quatro sondagens, conjugada com a similitude dos seus resultados, fazem-me supor que é improvável que não tenham medido com razoável precisão as intenções de voto dos portugueses no momento em que foram feitas (o único receio que tenho a esse respeito é que haja, comum a todas, uma propensão de determinado tipo de eleitor para ocultar as suas intenções, para recusar responder a sondagens ou para não ser encontrado no processo amostral). Mas daí até supor que os resultados do dia 27 vão ser iguais às sondagens vai um salto que, podendo perfeitamente ter por base inicial os resultados das sondagens - como eu tive na minha "previsão" de 2005 - pode ser muito arriscado.
De resto, os líderes partidários, pelas reacções que tiveram às sondagens, mostram que sabem isso perfeitamente: ninguém entrega os pontos, e todos utilizam uma retórica que visa mitigar (ou amplificar) aqueles que julgam ser os efeitos negativos (ou positivos) das próprias percepções criadas pelas sondagens no futuro comportamento dos eleitores. Sócrates diz que sondagens não ganham eleições e combate a "abstenção por certeza de vitória". MFL e Jerónimo combatem a potencial desmobilização dos seus eleitores em face de resultados desfavoráveis. Louçã combate o voto útil no PS, tentando tornar o voto no BE útil para impedir uma putativa maioria PS. Portas usa-as para mobilizar os eleitores do CDS-PP e sugerir uma suposta "inutilidade" do voto no PSD. Em suma: eles acreditam que algumas coisas ainda podem mudar até dia 27, e estão a fazer o possível para que mudem. Tudo normal. É assim mesmo.
É claro, no entanto, que quaisquer especulações sobre o dia 27 podem repousar na relação entre o retrato feito a dias das eleições pelas sondagens das intenções de voto e aquilo que tende a suceder em eleições legislativas. E sobre isso, só tenho isto a dizer:
1. Com estes resultados medidos a menos de uma semana da eleição, se o PS perder, as eleições de 2009 vão-se tornar um estudo de caso apenas comparável ao que sucedeu no Reino Unido em 1992. O que teria uma vantagem, atraíndo para o país uma legião de cientistas políticos sem paralelo desde o PREC :-)
2. No momento em que foram feitas, as sondagens vistas no seu conjunto (uma amostra agregada de 4925 inquiridos), sugerem que havia mais intenções de voto no BE do que no CDS-PP (2,3 pontos de vantagem para uma margem de erro de 1,2 pontos). Mas nem sequer são capazes de dizer se a margem do CDS-PP sobre a CDU (0,6 pontos) correspondia a qualquer coisa de real na inferência para a população. E dito isto, quem sabe se o BE volta a conseguir resistir a alguma desmobilização de última hora? Nas Europeias resistiu. E desta vez?
O resto seria pura especulação, e para isso vou ao Trocas. Em suma: larguem lá as sondagens e vão mas é votar em quem e como acharem melhor.
Na Alemanha também há eleições
Vale a pena visitar este site que foi sugerido por um leitor num comentário anterior.
Onde está a Eurosondagem?
Para estas eleições, a Rádio Renascença, a SIC e o Expresso decidiram não solicitar à Eurosondagem a realização de uma última sondagem antes das eleições, o que julgo ser inédito. Não conheço as razões, mas vou aqui presumir - e retiro o que escreverei de seguida se me disserem que a pressuposição está errada - que isto sucede em consequência do que se passou nas Europeias. É quase inútil dizer que estão no seu pleno direito. Mas atrevo-me a dizer que foi uma péssima decisão, por duas razões:
1. O público fica mais bem servido com mais sondagens e não com menos. Mais sondagens significa que ficamos a dispor de mais resultados com maior variabilidade de métodos. Por outras palavras, descontando erro amostral, ficamos a poder apreciar melhor se diferentes resultados se devem a diferentes opções técnicas ou metodológicas ou se os resultados são independentes delas. Mais sondagens significa mais observações e, logo, menos incerteza. E mais sondagens significa ainda que um outlier -sempre possível - é mais facilmente "desdramatizado" e colocado em contexto.
2. Não fazer sondagens porque os resultados das últimas sondagens de intenções de voto nas Europeias tiveram importantes discrepâncias em relação aos resultados eleitorais é mandar uma mensagem completamente errada à opinião pública sobre o que é uma sondagem. É dizer que ela é uma previsão e que, se essa "previsão" falhar, se cometeu um erro. Pode ser que sim. Mas pode ser que não. É preciso estudar, como não me canso de dizer. E há mais. Depois das Europeias, os relatos e as explicações do "fracasso" ficaram quase exclusivamente nas mãos de políticos ou de comentadores directa ou indirectamente ao serviço de partidos políticos. Não detectei, na esmagadora maioria destes comentários, um único argumento minimamente apresentável de natureza técnica, mas apenas julgamentos sumários, insultos e injuriosas alegações de desonestidade e manipulação. Deixar parecer que este discurso absolutamente inane influenciou uma decisão sobre a condução ou não de sondagens pré-eleitorais é, pura e simplesmente, entregar o ouro aos bandidos.
Desculpem meter-me na vida dos outros e, como mencionei, retiro o que escrevi se me explicarem que as razões foram outras. Mas decisões como estas influenciam a qualidade do debate público sobre as sondagens e a qualidade da informação que é transmitida ao público.
1. O público fica mais bem servido com mais sondagens e não com menos. Mais sondagens significa que ficamos a dispor de mais resultados com maior variabilidade de métodos. Por outras palavras, descontando erro amostral, ficamos a poder apreciar melhor se diferentes resultados se devem a diferentes opções técnicas ou metodológicas ou se os resultados são independentes delas. Mais sondagens significa mais observações e, logo, menos incerteza. E mais sondagens significa ainda que um outlier -sempre possível - é mais facilmente "desdramatizado" e colocado em contexto.
2. Não fazer sondagens porque os resultados das últimas sondagens de intenções de voto nas Europeias tiveram importantes discrepâncias em relação aos resultados eleitorais é mandar uma mensagem completamente errada à opinião pública sobre o que é uma sondagem. É dizer que ela é uma previsão e que, se essa "previsão" falhar, se cometeu um erro. Pode ser que sim. Mas pode ser que não. É preciso estudar, como não me canso de dizer. E há mais. Depois das Europeias, os relatos e as explicações do "fracasso" ficaram quase exclusivamente nas mãos de políticos ou de comentadores directa ou indirectamente ao serviço de partidos políticos. Não detectei, na esmagadora maioria destes comentários, um único argumento minimamente apresentável de natureza técnica, mas apenas julgamentos sumários, insultos e injuriosas alegações de desonestidade e manipulação. Deixar parecer que este discurso absolutamente inane influenciou uma decisão sobre a condução ou não de sondagens pré-eleitorais é, pura e simplesmente, entregar o ouro aos bandidos.
Desculpem meter-me na vida dos outros e, como mencionei, retiro o que escrevi se me explicarem que as razões foram outras. Mas decisões como estas influenciam a qualidade do debate público sobre as sondagens e a qualidade da informação que é transmitida ao público.
Quadro final
Todas as sondagens de Setembro. Para as últimas quatro, variação em relação à última sondagem do mesmo instituto e uma média ponderada:
Como se pode ver, duas tendências comuns a todas: descida do BE e subida do CDS-PP. Outro aspecto relevante é, claro, a impressionante convergência das quatro sondagens, maior ainda do que a ocorreu nas últimas sondagens de 2005. Já várias vezes discuti aqui este fenómeno recorrente, para o qual vejo três explicações plausíveis:
1. Cristalização do voto (e já citei aqui tantas vezes um famoso artigo de Andrew Gelman e Gary King que nem faço link outra vez);
2. Maior investimento por parte dos institutos nas derradeiras sondagens;
3. Institutos looking over their shoulders.
A 3ª explicação, que foi mencionada aqui há uns dias num comentário, é potencialmente a mais perturbante. Mas aqui, duas notas:
1. Não acredito, muito sinceramente, que alguém obtenha um resultado e o mude deliberadamente para se ajustar a uma qualquer expectativa do que vão ser os resultados as eleições ou aos resultados de outros institutos. As coisas passam-se, potencialmente, de forma muito mais subtil. Como explicam Gary King e os seus colegas neste outro artigo - um óptimo exemplo do tipo de "auditoria" que se pode fazer a um conjunto de sondagens pré-eleitorais e que a Comissão nomeada pela ERC faria bem em imitar - a produção de "estimativas de resultados" exige um conjunto de ajustamentos dos dados que se baseiam numa série de pressuposições sobre quem é um votante provável, como se distribuem os indecisos, como se corrigem distorções da amostra, etc, etc, etc. É por essas pressuposições e nesses ajustamentos, creio, que as expectativas se podem subtilmente "inflitrar".
2. Mas também noto que, em todas as sondagens, não há mudanças em relação ao que têm sido práticas constantes dos vários institutos quando fazem sondagens pré-eleitorais (a Marktest abandonou a ponderação pós-amostral por recordação de voto em 2005, mas já o tinha feito há algum tempo; a Aximage usa um modelo de redistribuição de indecisos que me parece igual ao usado no passado; Intercampus e CESOP fazem o mesmo que fazem sempre nas últimas pré-eleitorais). Pelo que, para responder ao comentador, acredito mais, neste caso, nas explicações 1 e 2.
Como se pode ver, duas tendências comuns a todas: descida do BE e subida do CDS-PP. Outro aspecto relevante é, claro, a impressionante convergência das quatro sondagens, maior ainda do que a ocorreu nas últimas sondagens de 2005. Já várias vezes discuti aqui este fenómeno recorrente, para o qual vejo três explicações plausíveis:
1. Cristalização do voto (e já citei aqui tantas vezes um famoso artigo de Andrew Gelman e Gary King que nem faço link outra vez);
2. Maior investimento por parte dos institutos nas derradeiras sondagens;
3. Institutos looking over their shoulders.
A 3ª explicação, que foi mencionada aqui há uns dias num comentário, é potencialmente a mais perturbante. Mas aqui, duas notas:
1. Não acredito, muito sinceramente, que alguém obtenha um resultado e o mude deliberadamente para se ajustar a uma qualquer expectativa do que vão ser os resultados as eleições ou aos resultados de outros institutos. As coisas passam-se, potencialmente, de forma muito mais subtil. Como explicam Gary King e os seus colegas neste outro artigo - um óptimo exemplo do tipo de "auditoria" que se pode fazer a um conjunto de sondagens pré-eleitorais e que a Comissão nomeada pela ERC faria bem em imitar - a produção de "estimativas de resultados" exige um conjunto de ajustamentos dos dados que se baseiam numa série de pressuposições sobre quem é um votante provável, como se distribuem os indecisos, como se corrigem distorções da amostra, etc, etc, etc. É por essas pressuposições e nesses ajustamentos, creio, que as expectativas se podem subtilmente "inflitrar".
2. Mas também noto que, em todas as sondagens, não há mudanças em relação ao que têm sido práticas constantes dos vários institutos quando fazem sondagens pré-eleitorais (a Marktest abandonou a ponderação pós-amostral por recordação de voto em 2005, mas já o tinha feito há algum tempo; a Aximage usa um modelo de redistribuição de indecisos que me parece igual ao usado no passado; Intercampus e CESOP fazem o mesmo que fazem sempre nas últimas pré-eleitorais). Pelo que, para responder ao comentador, acredito mais, neste caso, nas explicações 1 e 2.
Subscrever:
Mensagens (Atom)
