O relatório feito por uma comissão nomeada pela ERC para fazer um "diagnóstico sobre a situação das sondagens" foi divulgado há duas semanas. Num post anterior, disponibilizei esse relatório e um resumo das suas principais conclusões.
A primeira coisa que queria notar é o silêncio sepulcral com que as conclusões desse relatório foram recebidas, com excepção de meia-dúzia de notícias divulgadas no próprio dia. Esse silêncio era expectável, mas não por isso menos instrutivo. Nos últimos meses, foram muitas as dezenas de comentadores, políticos e bloggers, dos mais inteligentes e informados até aos semi-analfabetos, que acharam que tinham coisas interessantes e importantes para dizer sobre as sondagens, os institutos que as fazem, os seus resultados, os seus métodos e as suas consequências. Passadas as eleições, e havendo informação produzida por uma fonte independente quer dos partidos quer dos institutos de sondagens, verifica-se que quase ninguém tem nada para dizer sobre o assunto. Só se podem tirar duas conclusões. Ou todas estas pessoas foram atingidas por uma súbita falta de tempo e disponibilidade para pensar no assunto, ou então a esmagadora maioria desses comentários - com raríssimas excepções - não foram feitos por pessoas interessadas nas sondagens, na sua qualidade ou nas suas consequências. Foram feitos com motivações estrita, única e exclusivamente políticas. Não é que não se soubesse, mas é bom dispormos agora da prova categórica.
Dito isto, passemos ao relatório. Neste post, dividi as conclusões em três tipos: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações. Quanto às primeiras, não tenho comentários para fazer. As coisas são o que são, e só resta esperar que todos se sintam alertados para algumas omissões que continuam a existir nas fichas técnicas depositadas na ERC e que contribuam para as corrigir. O mesmo não sucede quer em relação à análise dos resultados das sondagens propriamente ditos quer em relação às recomendações contidas no relatório.
Sobre as recomendações, subscrevo facilmente muitas das que são feitas: a indicação clara dos procedimentos de amostragem; a inclusão do questionário completo no depósito feito na ERC; a apresentação dos resultados em números inteiros; a indicação de todas as variáveis usadas para a ponderação pós-amostral; ou a elaboração de manuais e cursos para jornalistas. O tema do abandono das casas decimais nos resultados foi aparentemente controverso na conferência onde o relatório foi apresentado, mas Portugal deve ser dos poucos países onde isso sucede:
"The field is not an exact science, nor can it measure minute degrees of difference. Readers should be skeptical of studies that report poll results in terms as exact as two decimal places (7.03 percent, for example). Even one decimal place is usually misleading."
"The figures for the actual election result are given to the nearest decimal place, since they are real figures. The polls results, on the other hand, are expressed only as whole percentages. This is because they are estimates, subject to sampling error (...), and while it is possible to express the poll results to any number of decimal places, it is implying a spurious level of accuracy to quote a figure of 34.3%, when it is really 34.3% plus or minus 3%."
"Don't use decimals. In reporting polling numbers, you should always use whole percentages, never results with decimal points. Since these results are always subject to error, using decimals implies a precision that does not exist."
Dito isto, há recomendações com as quais não concordo:
- Em primeiro lugar, a recomendação de que, em amostras por quotas, se utilize ponderação pelo último voto. Isto significa que, nas sondagens, os inquiridos deverão ser questionados sobre o partido em que votaram nas últimas eleições e, caso haja discrepâncias entre os resultados obtidos na amostra e os resultados eleitorais reais das últimas eleições, se deve proceder a reequilíbrio amostral. Não creio que caiba à ERC, nem a uma comissão de diagnóstico nomeada pela ERC, a recomendação da adopção de opções técnicas e metodológicas cuja bondade na melhoria das estimativas não seja inequívoca. E a verdade é que não é de todo evidente que isso suceda com a ponderação por recordação de voto. O tema é controverso, há quem utilize esta ponderação e quem não a utilize, e, mais importante, não há qualquer evidência empírica para o caso português de que a sua utilização melhore os resultados. Isto não implica que não se deva discutir a sua adopção. E até possível que se conclua que, afinal, é mesmo a melhor opção no caso português. Mas é matéria para discussão e estudo, não para uma "recomendação" emanada de uma comissão nomeada pelo regulador sem bases factuais.
- O relatório sugere que, em amostras por quotas, se mencione que "o erro é desconhecido". Mas isto é enganador. É uma recomendação que, à partida, parece fundada em bases técnicas, mas é-o apenas superficialmente. É verdade que o conceito de erro amostral e a sua estimação presume amostras probabilísticas, coisa que as amostras por quotas, por definição, não são. Mas a verdade é que as amostras ditas aleatórias também não o são. Mesmo quando seleccionam números de telefone por puro random digit dialing, a incapacidade de estabelecer contacto com inquiridos que teriam sido seleccionados aleatoriamente ou de obter deles respostas faz com que a amostra deixe de ser uma amostra probabilistica do universo que se pretende e se diz representar. E em sondagens presenciais, mesmo que seleccionem localidades, domicílios e inquiridos aleatoriamente, a utilização de cluster sampling introduz erro adicional ao erro subjacente a uma amostragem puramente aleatória. Não é impossível estimar esse erro, mas é bastante complicado e, de resto, controverso. Logo, a única coisa que uma ficha técnica pode razoavelmente dizer em qualquer sondagem é aquilo que a comissão sugere na 2ª parte da sua recomendação: "Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%". O erro, em rigor, é sempre desconhecido, e dizer isso apenas nas amostras por quotas é que é, isso sim, enganador.
- A indicação da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção seria sem dúvida uma informação útil a adicionar à ficha técnica depositada na ERC. Mas iludimo-nos se pensarmos que essa informação pode ser sempre depositada antes da divulgação pública de uma sondagem pré-eleitoral. Em estudos académicos ou qualquer outro tipo de sondagem que não esteja sujeito a um calendário apertado de divulgação, não hesito em apoiar a ideia. Mas é muito frequente que, de forma a que uma sondagem seja conduzida o mais perto possível da data das eleições, minimizando diferenças entre resultados de sondagens de intenção de voto e resultados eleitorais, não sobre depois tempo para conduzir todos os controlos e inspecções antes da divulgação pública dos resultados. Logo, em muitos casos, a indicação que a comissão sugere para a ficha técnica depositada na ERC antes da divulgação pública dos resultados não pode, pura e simplesmente, ser feita.
- O relatório sugere que é importante que as fichas técnicas passem conter informação sobre "abstenção estimada". Não contesto de forma alguma que as fichas técnicas depositadas na ERC e a divulgação que é feita das sondagens junto de amostras que visam representar a totalidade dos eleitores incluam informação sobre a parte que, quando questionada sobre se vai ou não votar, responde que não o tenciona fazer. Também me inclino bastante - por achar o tema quase consensual na literatura - para que um questionário contenha sempre uma ou várias questões, separadas da questão de intenção de voto propriamente dita, destinadas a apurar a probabilidade de que um inquirido vá votar. Nuns casos, essas perguntas servirão para estimar um "eleitorado provável" de entre o conjunto de eleitores inquiridos, dando às intenções de voto desses um peso maior (ou exclusivo). Noutros casos - que me parecem pouco inventariados no relatório - parecem servir mesmo para definir a própria amostra, fazendo com que seja exclusivamente composta de "eleitores prováveis". O que já não compreendo bem é a recomendação de que se apresente sempre um valor para a "abstenção estimada". "There is no standard, widely accepted way for estimating a person's likelihood of voting. Most polling organizations combine the answers to several questions to estimate the likely electorate, and some methods work better than others". Obrigar os institutos a apresentarem as frequências das perguntas que utilizaram para estes efeitos é uma coisa. Obrigá-los a apresentar uma "estimativa" da abstenção é outra. Não creio que a segunda deva ser exigida.
- Finalmente, o relatório recomenda a criação de um "programa informático" que "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão". Acho óptimo que a ERC ou seja quem for recolha e disponibilize resultados de sondagens e de todos os aspectos técnicos ligados à sua realização. De resto, a ERC vai fazendo cada vez melhor trabalho neste domínio. Mas não sei como vai a ERC compatibilizar esta recomendação do relatório, especialmente no que diz respeito aos intervalos de confiança, com esta outra:
"No caso de sondagem por quotas, a indicação da margem de erro tem um sentido meramente indicativo do erro que se correria se ela fosse probabilística. Mas como não o é, o erro pode ser muito maior, maior, menor ou muito menor, pelo que em nosso entender se deve claramente referir que “o erro é desconhecido." (p. 23)
De resto, a afirmação de que "o erro pode ser muito maior, maior, menor ou muito menor" aplica-se igualmente a amostragem aleatória. E mais importante, claro, é este conceito de "saiam fora dos limites previstos". Na base do que acabam por a ser os resultados das eleições? Ah, mas isso é matéria para o próximo post.
quarta-feira, novembro 04, 2009
domingo, novembro 01, 2009
A banda sonora da minha adolescência
O primeiro responsável pela banda sonora da minha adolescência morreu ontem. Houve outros, como Ricardo Saló e Aníbal Cabrita (no "Noites de Luar"), mas António Sérgio foi o primeiro que fez com que, na altura, a música que ouvíamos fosse a coisa mais importante das nossas vidas.
Duas canções que, estou quase certo, ouvi pela primeira vez no "Som da Frente". Mais adolescente que a segunda não existe. E contudo, ainda a tenho no i-Pod.
Duas canções que, estou quase certo, ouvi pela primeira vez no "Som da Frente". Mais adolescente que a segunda não existe. E contudo, ainda a tenho no i-Pod.
quinta-feira, outubro 29, 2009
Um dia
Planet Money é o nome de um blog e de um podcast da National Public Radio dedicado a temas económicos, tratados de forma acessível e divertida mas nunca simplista. Não perco um podcast.
Há duas semanas, um desses podcasts foi dedicado a um funcionário da Exxon em Angola e a Minguito, um rapaz que vive nas ruas de Luanda vendendo pastilha elástica e cigarros. O dia em que um órgão de comunicação social português disser algo de semelhante ao que aqui é dito sobre Angola e o seu governo será um dia feliz para a imprensa portuguesa. Receio que esse dia não esteja para breve.
Há duas semanas, um desses podcasts foi dedicado a um funcionário da Exxon em Angola e a Minguito, um rapaz que vive nas ruas de Luanda vendendo pastilha elástica e cigarros. O dia em que um órgão de comunicação social português disser algo de semelhante ao que aqui é dito sobre Angola e o seu governo será um dia feliz para a imprensa portuguesa. Receio que esse dia não esteja para breve.
quarta-feira, outubro 28, 2009
O Trocas
Há uma série de novidades na calha para o Trocas, que serão implementadas a pouco e pouco. A principal será a introdução em tempo real das melhores ordens de venda e de compra para cada contrato, para que quem queira negociar se oriente melhor. Mais e melhores gráficos, novas formas de participação e discussão no mercado, etc.
Entretanto há um novo contrato com um novo putativo futuro líder do PSD: Morais Sarmento (e a ver se não teremos de meter outro em breve). Em geral, contudo, o mercado nunca teve certezas sobre o PSD. Foram raras transacções feitas a mais de 50. Mas importa dizer que o título mais valorizado desde o início dos contratos quase nunca deixou de ser Pedro Passos Coelho.
Entretanto há um novo contrato com um novo putativo futuro líder do PSD: Morais Sarmento (e a ver se não teremos de meter outro em breve). Em geral, contudo, o mercado nunca teve certezas sobre o PSD. Foram raras transacções feitas a mais de 50. Mas importa dizer que o título mais valorizado desde o início dos contratos quase nunca deixou de ser Pedro Passos Coelho.
Relatório sobre sondagens e inquéritos de opinião
Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.
Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.
Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.
1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.
2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.
3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.
Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.
Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.
Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.
Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.
1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.
2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.
3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.
Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.
Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.
domingo, outubro 25, 2009
terça-feira, outubro 20, 2009
A "raridade" dos governos minoritários e outras coisas
Anteontem, no Público, uma peça mencionava a raridade dos governos minoritários na Europa. Espanha e Portugal seriam as excepções.
Receio, contudo, que a amostra utilizada, quer em número de países considerados quer do ponto de vista do período analisado, esteja um pouco enviesada. Entre 1945 e 1999, se considerarmos 17 países da Europa Ocidental (Austria, Bélgica, Dinamarca, Finlândia, França, Alemanha, Grécia, Islândia, Irlanda, Itália, Luxemburgo, Holanda, Noruega, Portugal, Espanha, Suécia e Reino Unido), estiveram no poder 424 governos. 141 (33%) eram governos minoritários, e 93 (22%) eram governos minoritários de um só partido. Portugal e Espanha estão entre os casos em que estes governos foram mais frequentes, mas o mesmo sucede com a Dinamarca, França, Irlanda, Itália e Suécia. Estes dados podem ser encontrados neste livro de 2008.
Outra coisa que o livro mostra é que, obviamente, governos minoritários duram menos que governos maioritários: em média, menos um ano. E outra ainda é que, talvez menos obviamente, os partidos que lideram governos minoritários tendem a ser menos punidos em eleições subsequentes que outros tipos de governo.
Entretanto, a coisa mais conhecida sobre as consequências económicas dos governos minoritários é um antigo paper de duas pessoas hoje muito famosas, Nouriel Roubini e Jeffrey Sachs, que sugere que governos minoritários tendem a produzir défices orçamentais 1.5 pontos por ano acima do que sucede com governos maioritários. Já passou muita água debaixo da ponte depois deste artigo. Um livro de 2002 de Torsten Persson e Guido Tabellini confirma a mesma ideia (ver quadro 6.7), mas há muita discussão sobre o assunto.
Receio, contudo, que a amostra utilizada, quer em número de países considerados quer do ponto de vista do período analisado, esteja um pouco enviesada. Entre 1945 e 1999, se considerarmos 17 países da Europa Ocidental (Austria, Bélgica, Dinamarca, Finlândia, França, Alemanha, Grécia, Islândia, Irlanda, Itália, Luxemburgo, Holanda, Noruega, Portugal, Espanha, Suécia e Reino Unido), estiveram no poder 424 governos. 141 (33%) eram governos minoritários, e 93 (22%) eram governos minoritários de um só partido. Portugal e Espanha estão entre os casos em que estes governos foram mais frequentes, mas o mesmo sucede com a Dinamarca, França, Irlanda, Itália e Suécia. Estes dados podem ser encontrados neste livro de 2008.
Outra coisa que o livro mostra é que, obviamente, governos minoritários duram menos que governos maioritários: em média, menos um ano. E outra ainda é que, talvez menos obviamente, os partidos que lideram governos minoritários tendem a ser menos punidos em eleições subsequentes que outros tipos de governo.
Entretanto, a coisa mais conhecida sobre as consequências económicas dos governos minoritários é um antigo paper de duas pessoas hoje muito famosas, Nouriel Roubini e Jeffrey Sachs, que sugere que governos minoritários tendem a produzir défices orçamentais 1.5 pontos por ano acima do que sucede com governos maioritários. Já passou muita água debaixo da ponte depois deste artigo. Um livro de 2002 de Torsten Persson e Guido Tabellini confirma a mesma ideia (ver quadro 6.7), mas há muita discussão sobre o assunto.
segunda-feira, outubro 19, 2009
Aximage, 12-16 Outubro, N=600, Tel.
São tratados temas como a actuação dos membros do governo e dos líderes político-partidários. A escala utilizada é de 0 a 20. Entre os membros do governo, a avaliação mais alta vai para Teixeira dos Santos (média de 13) e a mais baixa para Maria de Lurdes Rodrigues (7,2). Entre os líderes partidários, a média mais alta é a de Paulo Portas (12,3) e a mais baixa a de Manuela Ferreira Leite (6). O PM é avaliado com 12,1 e o PR com 9,8. Tudo aqui e aqui.
domingo, outubro 18, 2009
Anos 70
Vale a pena ir ver a exposição no CAM, na Gulbenkian, intitulada "Anos 70: Atravessar Fronteiras". Há coisas muito boas que eu já conhecia:
Ana Hatherly
Outras que não conhecia:
Emília Nadal
E outras que só acredito que existem porque as vi com estes que a terra há-de comer:
Ana Hatherly
Outras que não conhecia:
Emília Nadal
E outras que só acredito que existem porque as vi com estes que a terra há-de comer:
segunda-feira, outubro 12, 2009
Rescaldo
Bem, you know the drill. Dois critérios: erro 3 (a média dos desvios absolutos entre as estimativas da sondagem - intenções de voto em sondagens pré-eleitorais, simulações de voto em sondagens à boca das urnas - e os resultados eleitorais); e erro 5 (a diferença entre a margem de vitória estimada e a margem de vitória real).
O objectivo é sempre o mesmo: coligir informação que possa ser usada para aprender alguma coisa do ponto de vista das metodologias que melhor medem atitudes políticas. Para isso, considero apenas os concelhos em que houve mais do que uma sondagem (para poder fazer algum tipo de comparação) realizada na última semana (para manter constante um factor que se sabe ser vital, a distância em relação ao acto eleitoral). Mesmo assim, dentro da última semana, há variações de alguns dias no trabalho de campo que podem não ser inconsequentes, mas não vamos agora por aí. O único concelho que excluo é Braga, porque apesar das duas sondagens, há uma que não tem elementos suficientes para se poderem apresentar resultados comparáveis.
Quanto às sondagens pré-eleitorais, aqui vai. A verde, as sondagens com menores discrepâncias entre estimativas de intenções de voto válidas e aqueles que vieram a ser os resultados, dos pontos de vista dos erros 3 e 5 (espero não haver qualquer erro em tantos números, mas se repararem nalgum avisem que será rapidamente corrigido):
O erro 3 mais elevado nas legislativas para qualquer um dos institutos foi 2, e o erro 5 mais elevado foi 2,2. Estas marcas foram ultrapassadas muitas vezes nestas autárquicas, o que confirma o que já sabíamos de eleições anteriores. Mas por outro lado, estamos longe do que se passou nas Europeias mais recentes: houve sempre consenso sobre os vencedores, e os vencedores venceram realmente. E onde não houve consenso - em Faro - não podia haver.
Nas sondagens à boca das urnas, que eu saiba, houve apenas quatro concelhos onde foram feitas mais do que duas sondagens. Não apresento os valores dos intervalos porque, curiosamente, variaram imenso entre os diferentes institutos (maiores na Intercampus, menores na Eurosondagem) e são, assim, pouco informativos. Limito-me a apresentar os pontos centrais:
Há aqui, também, casos de erros - em Matosinhos e Lisboa - maiores que os das legislativas. Mas ao mesmo tempo, duas sondagens à boca das urnas cuja precisão, creio, não voltará a ser repetida tão cedo (duas das que foram feitas no Porto). Mas notem: há nesta "precisão" - e, quem sabe, também em várias "imprecisões" - muito de imponderável. E se olharmos para os quadros, vemos que os mesmos institutos, usando os mesmos métodos e, imagina-se, com várias outras coisas em comum em todas as sondagens que fazem (formação dos inquiridores, formulações de perguntas, ponderações pós-amostrais de resultados, etc, etc, etc) são capazes de ser, ao mesmo tempo, daqueles que apresentam estimativas que mais se aproximaram dos resultados finais nalguns concelhos e, noutros, dos que menos o fizeram. É por isso que nada do que diz respeito a estes assuntos tem uma explicação óbvia. E é por isso que tudo isto é interessante (para nerds como eu e vocês que chegaram até aqui na leitura do post, obviamente).
Interessante, claro, mas com limites. O que isto merecia agora era uma análise mais aprofundada do conjunto das sondagens das autárquicas de 2009 (apesar de serem em muito menor número dos que as de 2005, o que dificultará as coisas). Talvez um dia a faça de novo com o Diogo. Mas não vai ser nem hoje, nem amanhã, nem para a semana. De sondagens, e de eleições, é agora preciso descansar. Até mais logo.
P.S. - Já me esquecia. A Intercampus ontem fez sondagens em 16 (!) concelhos. Não tive tempo para ver em detalhe como lhes correram as coisas nos que não estão tratados neste post, mas espero que bem. Uma vez o CESOP fez 14 e jurámos para nunca mais: é um esforço incrível. Só por isso, os meus parabéns.
O objectivo é sempre o mesmo: coligir informação que possa ser usada para aprender alguma coisa do ponto de vista das metodologias que melhor medem atitudes políticas. Para isso, considero apenas os concelhos em que houve mais do que uma sondagem (para poder fazer algum tipo de comparação) realizada na última semana (para manter constante um factor que se sabe ser vital, a distância em relação ao acto eleitoral). Mesmo assim, dentro da última semana, há variações de alguns dias no trabalho de campo que podem não ser inconsequentes, mas não vamos agora por aí. O único concelho que excluo é Braga, porque apesar das duas sondagens, há uma que não tem elementos suficientes para se poderem apresentar resultados comparáveis.
Quanto às sondagens pré-eleitorais, aqui vai. A verde, as sondagens com menores discrepâncias entre estimativas de intenções de voto válidas e aqueles que vieram a ser os resultados, dos pontos de vista dos erros 3 e 5 (espero não haver qualquer erro em tantos números, mas se repararem nalgum avisem que será rapidamente corrigido):
O erro 3 mais elevado nas legislativas para qualquer um dos institutos foi 2, e o erro 5 mais elevado foi 2,2. Estas marcas foram ultrapassadas muitas vezes nestas autárquicas, o que confirma o que já sabíamos de eleições anteriores. Mas por outro lado, estamos longe do que se passou nas Europeias mais recentes: houve sempre consenso sobre os vencedores, e os vencedores venceram realmente. E onde não houve consenso - em Faro - não podia haver.
Nas sondagens à boca das urnas, que eu saiba, houve apenas quatro concelhos onde foram feitas mais do que duas sondagens. Não apresento os valores dos intervalos porque, curiosamente, variaram imenso entre os diferentes institutos (maiores na Intercampus, menores na Eurosondagem) e são, assim, pouco informativos. Limito-me a apresentar os pontos centrais:
Há aqui, também, casos de erros - em Matosinhos e Lisboa - maiores que os das legislativas. Mas ao mesmo tempo, duas sondagens à boca das urnas cuja precisão, creio, não voltará a ser repetida tão cedo (duas das que foram feitas no Porto). Mas notem: há nesta "precisão" - e, quem sabe, também em várias "imprecisões" - muito de imponderável. E se olharmos para os quadros, vemos que os mesmos institutos, usando os mesmos métodos e, imagina-se, com várias outras coisas em comum em todas as sondagens que fazem (formação dos inquiridores, formulações de perguntas, ponderações pós-amostrais de resultados, etc, etc, etc) são capazes de ser, ao mesmo tempo, daqueles que apresentam estimativas que mais se aproximaram dos resultados finais nalguns concelhos e, noutros, dos que menos o fizeram. É por isso que nada do que diz respeito a estes assuntos tem uma explicação óbvia. E é por isso que tudo isto é interessante (para nerds como eu e vocês que chegaram até aqui na leitura do post, obviamente).
Interessante, claro, mas com limites. O que isto merecia agora era uma análise mais aprofundada do conjunto das sondagens das autárquicas de 2009 (apesar de serem em muito menor número dos que as de 2005, o que dificultará as coisas). Talvez um dia a faça de novo com o Diogo. Mas não vai ser nem hoje, nem amanhã, nem para a semana. De sondagens, e de eleições, é agora preciso descansar. Até mais logo.
P.S. - Já me esquecia. A Intercampus ontem fez sondagens em 16 (!) concelhos. Não tive tempo para ver em detalhe como lhes correram as coisas nos que não estão tratados neste post, mas espero que bem. Uma vez o CESOP fez 14 e jurámos para nunca mais: é um esforço incrível. Só por isso, os meus parabéns.
sexta-feira, outubro 09, 2009
And now, for something completely different...
Lisboa. Intercampus, 4-7 Out., N=800, Presencial.
PS: 40,5%
PSD/CDS-PP/MPT/PPM: 36,3%
CDU: 10,5%
BE: 6,0%
OBN: 6,6%
Aqui.
Porto. Intercampus, 4-7 Out., N=800, Presencial.
PSD/CDS-PP: 43,2%
PS: 39,5%
BE: 7,8%
CDU: 7,1%
OBN: 2,4%
Aqui.
Num certo sentido, isto não é completely different. Em 2005, a vantagem de Carmona sobre Carrilho nas sondagens oscilava entre os 11 e os -0,4 pontos. Desta vez, a margem de Costa sobre Santana oscila entre os 12 e os 4,2 pontos. Em 2005, no Porto, a margem de vitória de Rio nas sondagens oscilava entre os 19 pontos e os -1,8 pontos. Desta vez, oscila entre os 20 e os 3,7 pontos.
É muito? Obviamente que sim. Tem explicação metodológica óbvia? Não tem. Está correlacionado com a proximidade em relação ao acto eleitoral? Só em parte. O que vemos aqui nada tem a ver com o que se passa nas legislativas ou nas presidenciais. Já há uma história relativamente longa disto, e alguns padrões recorrentes. Era bom que houvesse em Portugal uma comunidade académica interessada nestas coisas, não ligada a este ou aquele instituto de sondagens, que pudesse estudar isto. Há muito aqui para tentar compreender.
PS: 40,5%
PSD/CDS-PP/MPT/PPM: 36,3%
CDU: 10,5%
BE: 6,0%
OBN: 6,6%
Aqui.
Porto. Intercampus, 4-7 Out., N=800, Presencial.
PSD/CDS-PP: 43,2%
PS: 39,5%
BE: 7,8%
CDU: 7,1%
OBN: 2,4%
Aqui.
Num certo sentido, isto não é completely different. Em 2005, a vantagem de Carmona sobre Carrilho nas sondagens oscilava entre os 11 e os -0,4 pontos. Desta vez, a margem de Costa sobre Santana oscila entre os 12 e os 4,2 pontos. Em 2005, no Porto, a margem de vitória de Rio nas sondagens oscilava entre os 19 pontos e os -1,8 pontos. Desta vez, oscila entre os 20 e os 3,7 pontos.
É muito? Obviamente que sim. Tem explicação metodológica óbvia? Não tem. Está correlacionado com a proximidade em relação ao acto eleitoral? Só em parte. O que vemos aqui nada tem a ver com o que se passa nas legislativas ou nas presidenciais. Já há uma história relativamente longa disto, e alguns padrões recorrentes. Era bom que houvesse em Portugal uma comunidade académica interessada nestas coisas, não ligada a este ou aquele instituto de sondagens, que pudesse estudar isto. Há muito aqui para tentar compreender.
Já agora, o que diz o Trocas?
O Trocas de Opinião tem tido, nos contratos sobre as autárquicas, algumas crenças relativamente sólidas e quase inabaláveis e algumas dúvidas. Neste momento, contudo, parece ter menos dúvidas do que já teve:
1. Até agora, sempre acreditou que PSL não ganhará Lisboa. Mas a média móvel das últimas 20 cotações tem atingido valores mais altos nos últimos dias, se bem que nunca acima dos 13.
2. Também sempre acreditou que Paulo Pedroso não ganhará Almada. Só uma única transacção foi feita acima de 50. Neste momento, a cotação é 0,85.
3. Desde o início de Outubro (mais exactamente desde que saiu a primeira sondagem sobre Oeiras), o Trocas acredita que Isaltino Morais vai ganhar Oeiras. A cotação neste momento está nuns claros 93.2.
4. A probabilidade de Rui Rio ter maioria no Porto esteve, na esmagadora maioria das transacções, acima dos 60.
5. A probabilidade de Narciso Miranda ganhar Matosinhos nunca esteva acima de 50. Está neste momento a 4.
6. A probabilidade de o PSD ganhar mais de 160 câmaras nunca esteve acima dos 50. Está neste momento a 10.
Em geral, menos volatilidade que nas legislativas, devido a menos transacções (mas não muito menos, curiosamente) e também (ou especialmente) a limites impostos no volume de ordens pendentes, incluindo vendas a descoberto.
1. Até agora, sempre acreditou que PSL não ganhará Lisboa. Mas a média móvel das últimas 20 cotações tem atingido valores mais altos nos últimos dias, se bem que nunca acima dos 13.
2. Também sempre acreditou que Paulo Pedroso não ganhará Almada. Só uma única transacção foi feita acima de 50. Neste momento, a cotação é 0,85.
3. Desde o início de Outubro (mais exactamente desde que saiu a primeira sondagem sobre Oeiras), o Trocas acredita que Isaltino Morais vai ganhar Oeiras. A cotação neste momento está nuns claros 93.2.
4. A probabilidade de Rui Rio ter maioria no Porto esteve, na esmagadora maioria das transacções, acima dos 60.
5. A probabilidade de Narciso Miranda ganhar Matosinhos nunca esteva acima de 50. Está neste momento a 4.
6. A probabilidade de o PSD ganhar mais de 160 câmaras nunca esteve acima dos 50. Está neste momento a 10.
Em geral, menos volatilidade que nas legislativas, devido a menos transacções (mas não muito menos, curiosamente) e também (ou especialmente) a limites impostos no volume de ordens pendentes, incluindo vendas a descoberto.
Retrospectiva e balanço
Há uns anos, eu e o Diogo Moreira, também aqui do ICS, escrevemos um artigo sobre as sondagens pré-eleitorais para as autárquicas de 2005, recorrendo ao óptimo dossier da Marktest sobre o assunto. O artigo saiu na revista Comunicação e Cultura em 2007. Em resumo, eis o que concluímos:
1. Muita concentração das sondagens publicadas nos concelhos com mais população residente (apenas 41 concelhos, mas representando 35% da população).
2. Muitos problemas na divulgação dos resultados pela imprensa (não analisámos TV ou rádio), com divulgação errática das características técnicas básicas dos estudos.
3. A média dos desvios absolutos médios entre as 86 sondagens consideradas e os resultados eleitorais foi de 4,6. Alto, tendo em conta que o erro amostral máximo que decorria da dimensão média das amostras era 4,2.
4. Os factores que mais explicaram discrepâncias entre os resultados das sondagens e o resultados das eleições (discrepâncias medidas em termos de erro absoluto médio):
- Primeiro, o básico: quanto maior o nº de partidos/listas cujas intenções de voto eram estimadas, menor o erro. Mas isto não passa de uma variável de controlo que tem a ver com a medida utilizada: ceteris paribus, o desvio absoluto médio entre sondagens e resultados há-de ser sempre maior quando esse cálculo se faz em relação a poucos partidos do que a vários (incluindo pequenos) partidos.
- Quanto maior o erro amostral máximo associado a cada sondagem (tendo em conta a dimensão da amostra), maior o desvio médio.*
- Quando teve lugar a sondagem foi importante: naturalmente, os resultados de sondagens feitas mais próximo das eleições estiveram mais próximo dos resultados destas.
- Amostragem: amostras aleatórias produziram maiores desvios que amostras por quotas (1,7 pontos acima). Isto é um bocado simplista e não sei se resistiria a uma análise mais fina e discriminada dos processos de amostragem, nem se é decorrente de um qualquer house effect ou da amostragem propriamente dita.
- Candidatos independentes: concelhos onde concorriam candidatos independentes foram concelhos onde, ceteris paribus, o desvio absoluto médio entre sondagens e resultados foram maiores (entre 2,4 e 2,5 pontos percentuais sempre que havia independentes, o que é muito).
-Telefónica vs. Presencial não fez diferença. Nem a abstenção, se bem que aqui a variância era pouca.
Enfim, uma coisa relativamente simples, pouco menos que o possível, creio, tendo em conta o reduzido número de casos, a falta de informação sobre muitas sondagens e, claro, aquilo que sabíamos fazer na altura.
Isto tudo para dizer que as sondagens que têm sido divulgadas nos últimos tempos sobre as autárquicas devem provavelmente ser vistas, do ponto de vista da sua capacidade de antecipar o que venha a acontecer no Domingo, a esta luz. Em geral, parece evidente que são bastante menos úteis para esse fim preditivo do que têm sido as sondagens sobre as legislativas, especialmente tendo em conta a tendência para usar amostras de dimensões menores e a presença aparentemente "perturbadora" das candidaturas independentes. É certo que há vários "consensos" entre as sondagens divulgadas nos últimos tempos. Mas por tudo o que está dito antes, resta saber se resistem ao que venha a suceder até Domingo.
Dito isto, quais são os "consensos" sobre as intenções de voto medidas nas últimas duas semanas?
- PS lidera intenções de voto em Lisboa. Valores de intenções de voto válidas entre 41,9 e 45%. Se recuarmos ao final de Setembro, encontramos um valor ligeiramente mais baixo, de 41,4%.
- PSD/CDS-PP lidera intenções de voto no Porto. Valores entre 46,4 e 51%. Se recuarmos a finais de Setembro, temos uma sondagem com 44,4% para Rui Rio.
- Isaltino lidera nas duas sondagens de Oeiras, com intenções de voto válidas muito semelhantes.
- Matosinhos: PS lidera, mas grande variação nas intenções de voto válidas (entre 35,2 e 43%).
- Faro: claro "empate técnico" nas três sondagens que conheço.
Sem "consenso":
- Braga: vantagem para PS numa, empate noutra.
Isto é nos concelhos onde, que eu saiba (e pode-me perfeitamente ter escapado algo) há mais do que uma sondagem, e falando apenas de quem liderava ou não nas intenções de voto. Há outros assuntos (maiorias absolutas, diferenças entre CDU e BE, etc.) sobre os quais a maioria das sondagens nem conseguia dar uma indicação estatisticamente significativa. Para o resto, o que temos - que eu conheça- está aqui no dossier da Marktest para 2009, um verdadeiro serviço público.
Outras coisas:
- Não sei se o dossier Marktest é exaustivo. Mas se for, houve muito menos sondagens do que em 2005. Possivelmente por pressão económica de um ano anormalmente pesado em eleições e sondagens.
- Terei de ver isto com mais calma, mas à primeira vista parece-me que os padrões de divulgação de informação técnica continuam a melhorar.
- Cautelas extra a ter com a utilização destas sondagens para prever o que se passará no Domingo. Por um lado, recordem que muitas destas sondagens mais recentes foram conduzidas em parte ou na totalidade em cima do "fim de semana alargado" de 3-5 Outubro. Que implicações para a representatividade das amostras? Não sabemos, mas podem ser importantes. Por outro lado, não sei se as taxas de resposta estão a ser calculadas de forma consistente por todas as empresas. Mas as indicações que tenho é que, em vários concelhos, foram baixas. Fadiga eleitoral e das sondagens? Tendência "secular" de redução de taxas de resposta? Reacção a controvérsias recentes sobre as sondagens? Tudo com consequências potencialmente sérias, mas difíceis de apreciar neste momento.
E acho que falta a Intercampus para alguns concelhos. Confirmaremos logo à noite na TVI.
E é tudo. Agora sugiro que esqueçam as sondagens e vão votar. Mas já agora, uma nota pessoal: para mim, que nasci em Lisboa e que quase sempre aqui vivi, confesso que nunca me foi tão difícil fazer uma escolha eleitoral. Continuo a achar que é uma boa cidade para viver e aqui tenciono ficar, por essa e outras razões. Mas nada do que vi me retira a sensação de que, com sorte, hei-de chegar aos 70 e, para nosso azar, esta cidade ainda estará muito, muito longe daquilo que poderia ser. Uma lástima.
*Na verdade, isto podia ter sido mais bem feitinho. Por um lado, a dimensão das sub-amostras em relação às quais se calculam intenções de voto válidas é sempre menor que a dimensão total da amostra. Por outro lado, devíamos talvez ter calculado um erro amostral médio associado à estimação de cada um dos partidos cujos resultados estão a ser comparados com as sondagens (o que provavelmente teria diminuído a importância da variável anterior). Mas sempre foi melhor do que procurar uma relação negativa entre a dimensão da amostra e o desvio, dado que essa relação não deverá ser linear.
1. Muita concentração das sondagens publicadas nos concelhos com mais população residente (apenas 41 concelhos, mas representando 35% da população).
2. Muitos problemas na divulgação dos resultados pela imprensa (não analisámos TV ou rádio), com divulgação errática das características técnicas básicas dos estudos.
3. A média dos desvios absolutos médios entre as 86 sondagens consideradas e os resultados eleitorais foi de 4,6. Alto, tendo em conta que o erro amostral máximo que decorria da dimensão média das amostras era 4,2.
4. Os factores que mais explicaram discrepâncias entre os resultados das sondagens e o resultados das eleições (discrepâncias medidas em termos de erro absoluto médio):
- Primeiro, o básico: quanto maior o nº de partidos/listas cujas intenções de voto eram estimadas, menor o erro. Mas isto não passa de uma variável de controlo que tem a ver com a medida utilizada: ceteris paribus, o desvio absoluto médio entre sondagens e resultados há-de ser sempre maior quando esse cálculo se faz em relação a poucos partidos do que a vários (incluindo pequenos) partidos.
- Quanto maior o erro amostral máximo associado a cada sondagem (tendo em conta a dimensão da amostra), maior o desvio médio.*
- Quando teve lugar a sondagem foi importante: naturalmente, os resultados de sondagens feitas mais próximo das eleições estiveram mais próximo dos resultados destas.
- Amostragem: amostras aleatórias produziram maiores desvios que amostras por quotas (1,7 pontos acima). Isto é um bocado simplista e não sei se resistiria a uma análise mais fina e discriminada dos processos de amostragem, nem se é decorrente de um qualquer house effect ou da amostragem propriamente dita.
- Candidatos independentes: concelhos onde concorriam candidatos independentes foram concelhos onde, ceteris paribus, o desvio absoluto médio entre sondagens e resultados foram maiores (entre 2,4 e 2,5 pontos percentuais sempre que havia independentes, o que é muito).
-Telefónica vs. Presencial não fez diferença. Nem a abstenção, se bem que aqui a variância era pouca.
Enfim, uma coisa relativamente simples, pouco menos que o possível, creio, tendo em conta o reduzido número de casos, a falta de informação sobre muitas sondagens e, claro, aquilo que sabíamos fazer na altura.
Isto tudo para dizer que as sondagens que têm sido divulgadas nos últimos tempos sobre as autárquicas devem provavelmente ser vistas, do ponto de vista da sua capacidade de antecipar o que venha a acontecer no Domingo, a esta luz. Em geral, parece evidente que são bastante menos úteis para esse fim preditivo do que têm sido as sondagens sobre as legislativas, especialmente tendo em conta a tendência para usar amostras de dimensões menores e a presença aparentemente "perturbadora" das candidaturas independentes. É certo que há vários "consensos" entre as sondagens divulgadas nos últimos tempos. Mas por tudo o que está dito antes, resta saber se resistem ao que venha a suceder até Domingo.
Dito isto, quais são os "consensos" sobre as intenções de voto medidas nas últimas duas semanas?
- PS lidera intenções de voto em Lisboa. Valores de intenções de voto válidas entre 41,9 e 45%. Se recuarmos ao final de Setembro, encontramos um valor ligeiramente mais baixo, de 41,4%.
- PSD/CDS-PP lidera intenções de voto no Porto. Valores entre 46,4 e 51%. Se recuarmos a finais de Setembro, temos uma sondagem com 44,4% para Rui Rio.
- Isaltino lidera nas duas sondagens de Oeiras, com intenções de voto válidas muito semelhantes.
- Matosinhos: PS lidera, mas grande variação nas intenções de voto válidas (entre 35,2 e 43%).
- Faro: claro "empate técnico" nas três sondagens que conheço.
Sem "consenso":
- Braga: vantagem para PS numa, empate noutra.
Isto é nos concelhos onde, que eu saiba (e pode-me perfeitamente ter escapado algo) há mais do que uma sondagem, e falando apenas de quem liderava ou não nas intenções de voto. Há outros assuntos (maiorias absolutas, diferenças entre CDU e BE, etc.) sobre os quais a maioria das sondagens nem conseguia dar uma indicação estatisticamente significativa. Para o resto, o que temos - que eu conheça- está aqui no dossier da Marktest para 2009, um verdadeiro serviço público.
Outras coisas:
- Não sei se o dossier Marktest é exaustivo. Mas se for, houve muito menos sondagens do que em 2005. Possivelmente por pressão económica de um ano anormalmente pesado em eleições e sondagens.
- Terei de ver isto com mais calma, mas à primeira vista parece-me que os padrões de divulgação de informação técnica continuam a melhorar.
- Cautelas extra a ter com a utilização destas sondagens para prever o que se passará no Domingo. Por um lado, recordem que muitas destas sondagens mais recentes foram conduzidas em parte ou na totalidade em cima do "fim de semana alargado" de 3-5 Outubro. Que implicações para a representatividade das amostras? Não sabemos, mas podem ser importantes. Por outro lado, não sei se as taxas de resposta estão a ser calculadas de forma consistente por todas as empresas. Mas as indicações que tenho é que, em vários concelhos, foram baixas. Fadiga eleitoral e das sondagens? Tendência "secular" de redução de taxas de resposta? Reacção a controvérsias recentes sobre as sondagens? Tudo com consequências potencialmente sérias, mas difíceis de apreciar neste momento.
E acho que falta a Intercampus para alguns concelhos. Confirmaremos logo à noite na TVI.
E é tudo. Agora sugiro que esqueçam as sondagens e vão votar. Mas já agora, uma nota pessoal: para mim, que nasci em Lisboa e que quase sempre aqui vivi, confesso que nunca me foi tão difícil fazer uma escolha eleitoral. Continuo a achar que é uma boa cidade para viver e aqui tenciono ficar, por essa e outras razões. Mas nada do que vi me retira a sensação de que, com sorte, hei-de chegar aos 70 e, para nosso azar, esta cidade ainda estará muito, muito longe daquilo que poderia ser. Uma lástima.
*Na verdade, isto podia ter sido mais bem feitinho. Por um lado, a dimensão das sub-amostras em relação às quais se calculam intenções de voto válidas é sempre menor que a dimensão total da amostra. Por outro lado, devíamos talvez ter calculado um erro amostral médio associado à estimação de cada um dos partidos cujos resultados estão a ser comparados com as sondagens (o que provavelmente teria diminuído a importância da variável anterior). Mas sempre foi melhor do que procurar uma relação negativa entre a dimensão da amostra e o desvio, dado que essa relação não deverá ser linear.
Faro. Intercampus, 3-6 Out., N=600, Presencial
PS: 38,5%
PSD/CDS-PP/PPM/MPT: 36,2%
CDU: 8%
José Vitorino: 6,7%
BE: 6,7%
A soma dá 96,1%.
PSD/CDS-PP/PPM/MPT: 36,2%
CDU: 8%
José Vitorino: 6,7%
BE: 6,7%
A soma dá 96,1%.
Lisboa. Aximage, 6-8 Out., N=802, Tel.
Tal como divulgado:
PS: 43,5%
PSD/CDS-PP/MPT/PPM: 37,6%
CDU: 6,3%
BE: 5,9%
OBN: 4,7%
Indecisos: 2%
Após redistribuição proporcional de indecisos:
PS: 44,4%
PSD/CDS-PP/MPT/PPM: 38,4%
CDU: 6,4%
BE: 6,0%
OBN: 4,8%
PS: 43,5%
PSD/CDS-PP/MPT/PPM: 37,6%
CDU: 6,3%
BE: 5,9%
OBN: 4,7%
Indecisos: 2%
Após redistribuição proporcional de indecisos:
PS: 44,4%
PSD/CDS-PP/MPT/PPM: 38,4%
CDU: 6,4%
BE: 6,0%
OBN: 4,8%
Subscrever:
Mensagens (Atom)
