Qualquer palpite é chute

Acaba de ser divulgada uma sondagem da Vox Populi, terminada ontem, que dá 52% de votos válidos para Lula (contra 60% na última sondagem, realizada dia 19). Mais uma que dá tendência de descida. Aguarda-se, pelo menos, uma última sondagem da Datafolha. As restantes (as mais recentes) são as seguintes:



A noite eleitoral no Domingo é capaz de acabar tarde. “O segundo turno é provável”, arrisca um especialista na análise de pesquisas. “Mas a essa altura dos acontecimentos, qualquer palpite é chute”, afirma.

P.S.- Actualização com IBOPE e Datafolha:

Vale (muito) a pena ler

Os bastidores das pesquisas eleitorais

Meu reino por um ponto a mais

6ª feira: ponto de situação

O Ipespe dá 51% de votos válidos em Lula, em sondagem realizada no dia 26, confirmando a tendência de descida verificada em todos os outros institutos (o estudo anterior dava 53%). Não esquecer, contudo, que as sondagens Ipespe são telefónicas, presumivelmente deixando fora a amostra o eleitorado mais pobre.

Amanhã deveremos conhecer os resultados das últimas sondagens Vox Populi, Datafolha e IBOPE. Irão ter, pelo menos no caso Datafolha, amostras de muito grande dimensão, o que não só diminui a margem de erro amostral mas também permite uma estratificação mais fina da amostra. Isso, contudo, não resolve todos os problemas, como se pode depreender do quadro seguinte, onde se comparam os resultados das eleições de 1998 e 2002 com os resultados das últimas sondagens realizadas pelo IBOPE (ambas as eleições) e pelo Datafolha (2002). Como vêem, há um fenómeno recorrente: no dia das eleições, o vencedor recolheu menos votos do que aquilo que é estimado nas base das últimas sondagens. Coincidência?

Novas sondagens IBOPE e Datafolha

Na sondagem IBOPE, terminada dia 26, Lula aparece com 53% de votos válidos, menos 1 ponto que na sondagem anterior (terminada dia 22). A"subida" de que se fala no texto linkado é nas intenções de voto, mas o que sucede é que, como os votos brancos, nulos e indecisos diminuem, a redistribuição acaba por redundar numa descida para Lula em termos de votos válidos.

Na sondagem Datafolha, terminada dia 27, Lula desce também um ponto em votos válidos, de 54% para 53%, em relação à pesquisa anterior (terminada dia 24).

Ambas as "descidas" são, tomadas individualmente, estatisticamente irrelevantes. Contudo, o facto de ambas indicarem descida e de essa descida vir na continuidade de uma tendência anterior sugere que podem indicar algo mais do que um mero efeito de erro aleatório. De assinalar também que as estimativas para os vários candidatos que resultam das sondagens IBOPE e Datafolha serem rigorosamente iguais (53%, 36%, 9%, 2%).

Dito isto, as notícias podiam ser piores para Lula. Como o gráfico abaixo mostra - evolução dos resultados limpos de "house effects" - Lula desceu de forma contínua desde a 2ª quinzena de Agosto até agora. Contudo, o ritmo de descida parece ter abrandado nas sondagens desta última semana. Chegou-se ao último reduto de eleitorado indefectível?

Polémicas

Lá também há. Excertos:

SAMBA DA PESQUISA DOIDA
Se você estava em dúvida entre o Ibope e o Datafolha, agora já tem à sua disposição o Sensus, visto pelo mercado como uma espécie de Heloisa Helena entre os institutos. A última sondagem do Sensus, divulgada nesta terça, informa que Lula está com 51,4% das intenções de voto, contra 27,5% atribuídos a Geraldo Alckmin.São números diferentes dos que foram coletados pelo Datafolha (49% X 31%) e muito diferentes dos informados pelo Ibope (47% X 33%). Os pesquisadores do Datafolha foram às ruas na sexta-feira. Os do Ibope, de quarta a sexta. E os do Sensus, de sexta a domingo. Há pelo menos um ponto de contato entre as três pesquisas: a sexta-feira. Levando-se em conta que o eleitorado cujos humores se tenta medir é rigorosamente o mesmo, pode-se concluir: tem instituto que vai sair dessa eleição com a credibilidade carbonizada. A margem de erro dessa conclusão é zero. Logo mais teremos novas pesquisas. Essa disputa está bem mais interessante do que a briga entre os presidenciáveis. A propósito, Geraldo Alckmin considerou o resultado da pesquisa Sensus “um escândalo”.

Pesquisas divergem; em quem acreditar?
Gustavo Krieger
Do Correio Braziliense
O Ibope diz que a vantagem de Lula sobre a soma dos candidatos de oposição é de três pontos. Para o Datafolha, são oito. O Sensus aposta em 15 e o Vox Populi em 17. Tudo isso em pesquisas divulgadas num intervalo de cinco dias. Afinal, em quem acreditar? Para qualquer candidato, pesquisa boa é aquela que o mostra na dianteira. A verdade é que todas seguem métodos científicos. Mas cada uma tem o seu método e estas diferenças ajudam a explicar os índices disparatados. A metodologia do Sensus é domiciliar: os pesquisadores vão até a casa dos eleitores para aplicar os questionários. O Datafolha adota a “abordagem em pontos de fluxo populacional”. Escolhem pontos de grande concentração, como o Viaduto do Chá, em São Paulo ou a plataforma da rodoviária, em Brasília. Para compensar eventuais distorções, o Datafolha faz mais entrevistas que seus concorrentes. Na última rodada, ouviu 4.319 pessoas, contra 2 mil do Sensus e 2002 do Ibope. O perfil dos eleitores também é diferente. Lula é mais forte entre os mais pobres, menos instruídos ou que vivem no interior. Quanto mais destes eleitores na amostra, mais votos ele terá. O Sensus divide a pesquisa entre áreas urbanas e rurais, enquanto a Datafolha se concentra em cidades. O resultado é que uma é mais urbana que a outra e a diferença pode ser grande. Na pesquisa do Sensus de ontem, Lula obteve dez pontos percentuais a mais nas áreas rurais que nas cidades. Há discrepância também na divisão por escolaridade. Na pesquisa do Ibope, 27% dos pesquisados tinham estudado até a quarta série. No Sensus, este segmento representava 35%. Para a Sensus, os eleitores com ensino médio são 29% dos pesquisados. No Ibope são 37% e no Datafolha 39%. Este deslocamento muda o resultado da pesquisa. Lula tem em média 20 pontos percentuais a mais entre os eleitores menos instruídos que entre os que fizeram o segundo grau. Cada instituto tem justificativas para suas escolhas. Domingo à noite, será possível saber quem está certo.

A disputa das pesquisas
Mais curiosa do que a disputa eleitoral propriamente dita tem sido a guerra dos números das pesquisas eleitorais. Ontem, por exemplo, o Instituto Sensus apresentou à opinião pública seu novo levantamento: Lula está com 51,4% das intenções de voto contra 27,5% atribuídos a Geraldo Alckmin. A pesquisa foi realizada entre a última sexta-feira e domingo. Praticamente no mesmo período, Ibope e DataFolha também foram a campo. Os resultados apurados, respectivamente, são os seguintes: 47% (Lula) e 33% (Alckmin); e 49% (Lula) e 31% (Alckmin). A diferença dos percentuais de dois institutos (Ibope e Data Folha) em comparação com o Sensus é elevada demais, confundindo inclusive todos aqueles que acompanham os desdobramentos da campanha, mesmo porque todos, simultaneamente, estão tentando fotografar o mesmo momento eleitoral. Se houver equívoco ou manipulação de dados, a partir de segunda-feira os incautos pagarão um preço alto demais: a perda da credibilidade – um elemento crucial de sobrevivência de quem tem como negócio principal a realização de pesquisas de opinião.

Na verdade:

1. As diferenças entre os resultados apresentados pelos institutos são potencialmente muito maiores do que as ditadas pela margem de erro amostral ou pelos momentos diferentes no tempo em que são aplicadas. Amostragem, método de inquirição, questionário, aplicação do inquérito, ponderações a posteriori, todos estes são factores que podem causar diferenças entre os resultados obtidos;

2. Apesar disso, há métodos que permitem detectar se existem tendências detectadas por todos os institutos, independentemente de metodologias utilizadas. Foi o que fiz aqui. As intenções de voto válidas em Lula têm vindo a descer. E não há quaisquer sinais de que o dossiê Serra tenha produzido efeitos: a tendência de descida é anterior ao escândalo e o seu ritmo não mudou.

3. O que não é possível saber: o que vai acontecer no Domingo. As pesquisas feitas até agora são o passado. O Domingo é o futuro. Há abstenção, há votos brancos e nulos, há mudanças de opinião. E os resultados não dão uma vantagem suficiente a Lula para que uma vitória à 1ª volta esteja, com um grau de certeza elevado, ao abrigo destas mudanças futuras.

4. E o passado ajuda a fazer inferências sobre o futuro: há resultados eleitorais passados, e o confronto entre eles e as sondagens revela que o favorito foi beneficiado nas sondagens em relação àquilo que acabou por acontecer (mais sobre isto, com dados, no final desta semana).

Logo, se me perguntassem, eu diria que a vitória à 1ª volta está em risco muito sério. Lula sabe disso, obviamente.

Sensus

Divulgada há poucas horas, a última pesquisa Sensus dá 59% de intenções de votos válidos a Lula. Convém ter atenção, contudo, ao facto dos últimos resultados da Sensus para Lula terem ficado acima da tendência: 61% no início de Agosto e 62% no final de Agosto. Isto não significa, claro, que estejam errados. Significa apenas que são outliers em relação à tendência geral (da mesma forma que as sondagens do IBPS e, até certa altura, as da Vox Populi, foram outliers no sentido oposto).

E com a pesquisa IBOPE divulgada ontem...

Lula aparece com 52% de intenções válidas de voto. O quadro completo:



As conclusões anteriores não mudam, contudo. Há descida, mas prolonga tendência anterior.

Os efeitos do "dossiê Serra" (3)

A terceira maneira de ver a coisa é pensar na passagem do tempo como uma variável explicativa dos valores estimados nas sondagens e estimar esse efeito controlando os "house effects" (o facto da sondagem ter sido feita por este ou aquele instituto) e retirando a constante da equação de regressão. Assim, ficamos com valores das intenções válidas de voto para Lula associados a um cada período de tempo, independentemente do instituto que realizou a pesquisa. O valor da "2ª quinzena de Setembro" mostra como estão as coisas após a divulgação do caso:

Lula desce. Mas já vinha a descer a partir de final de Agosto. E não desce da primeira para a segunda quinzena de Setembro a um ritmo superior àquele em que descida da 2ª quinzena de Agosto para a 1ª de Setembro.

Veredicto preliminar:

1. As intenções válidas de voto em Lula estão a descer;

2. Não sabemos se o "dossiê Serra" está a produzir qualquer efeito. A tendência de descida é anterior à divulgação do escândalo.

Stay tuned.

Os efeitos do "dossiê Serra" (2)

Outra maneira de vermos a coisa consiste em olharmos para o conjunto de todas as sondagens, ajustarmos uma curva de regressão local e ver "a olho" o que se poderá ter passado:
Tudo o que está à direita da linha vertical são sondagens divulgadas após o escândalo do dossiê. Lula parece estar a descer, sim. Mas já vinha a descer antes da divulgação, como já se dizia aqui.

Os efeitos do "dossiê Serra" (1)

Como podemos avaliar se a divulgação do escândalo ligado ao "dossiê Serra" afectou as intenções de voto para as presidênciais no Brasil. Não é fácil, mas vamos por partes.

Uma primeira aproximação à questão pode ser feita comparando os resultados das últimas sondagens realizadas antes da divulgação pública do caso com aqueles que foram realizadas a seguir:


Em três das quatro sondagens para as quais temos ponto de comparação, Lula desce. E note-se que a excepção é a Vox Populi, onde a comparação é feita com uma sondagem de finais de Agosto. Claro que, olhando para cada sondagem individualmente, a diferença pré-pós não é estatisticamente significativa, podendo estar recoberta pela margem de erro amostral. Mas quando três em cada quatro sondagens detectam uma mesma tendência, a incerteza diminui.

Brasil pós-escândalo

Nada como um escândalo de última hora para animar uma eleição. Agora é o "dossiê" Serra. Detalhes aqui.

Os números de sondagens realizadas após a denúncia do escândalo (a vermelho, no quadro seguinte) são algo contraditórios (adiciono as duas últimas sondagens Ipespe, um instituto que me tinha passado completamente ao lado; daqui a dias apresento as sondagens anteriores):



Na sondagem Datafolha, não há efeito visível. Nas sondagens IBOPE e Ibespe, há diminuição das intenções válidas de voto. E na sondagem Vox Populi, Lula sobe (em virtude da redistribuição de um comparativamente grande número de indecisos). 2ª feira prometo tentar desvendar o mistério...

Brasil, a menos de duas semanas

Com mais duas sondagens nos últimos dias (IBOPE e Datafolha), apresento a estimativa para a evolução das intenções válidas de voto nas duas candidaturas, limpas de "house effects". Da 2ª quinzena de Agosto para a 1ª de Setembro, a tendência é de ligeiras descidas de Lula e Helena, e subida de Alckmin.

Transatlantic Trends 2006

Com impecável sentido de oportunidade, foi divulgado há dias mais um relatório da série Transatlantic Trends, um inquérito de opinião anual que examina as atitudes de Europeus e Norte-Americanos em relação à relação transatlântica.

Principais resultados:

1. Aumento da percepção do "fundamentalismo islâmico" como ameaça;

2. Apoio marginal, dos lados de cá e lá do Atlântico, a acção militar no Irão; mas apoio maioritário no caso de fracasso de opção diplomática;

3. Concordância geral dos dois lados do Atlântico sobre onde se devem (e onde não se devem) colocar limites às liberdades individuais na luta contra o terrorismo; mas polarização interna nos Estados Unidos, em linhas partidárias, sobre esta mesma questão;

4. Maioria, dos dois lados, crê que não há incompatibilidade entre os valores do Islão e os valores da democracia, e que o problema é com grupos islâmicos específicos e não com o Islão como um todo (e quem me tiver lido hoje no Público imaginará como me congratulo com estas opiniões...);

5. Declínio no apoio em relação ao papel da NATO na Europa;

De notar que Portugal faz parte dos países estudados, graças ao apoio da FLAD, a quem devemos dar os parabéns por continuar a apoiar a nossa integração neste Transatlantic Trends. Temos algumas especificidades, tais como vermos a imigração como ameaça importante ou darmos forte apoio à europeização da política externa, entre outras.

Mas o melhor é ler tudo. É o que farei nos próximos dias.

Brasil: actualização

Mais três sondagens na nossa lista: Vox Populi, IBOPE e Datafolha, esta última já em Setembro.


A menos de um mês das eleições, convergência em torno de 57-58% para Lula, mesmo por parte de institutos que, antes, tinham dado valores abaixo (Datafolha e Vox Populi) e acima (IBOPE) da tendência para Lula.

Com o endurecimento da campanha e o tempo de antena, Alckmin sobe. Também aqui institutos que antes tendiam a "beneficiar" (Vox Populi) ou "prejudicar" (IBOPE) Alckmin têm resultados recentes muito convergentes:


Mas se Lula mantém e Alckmin sobe, alguém tem de descer...


Por aqui, aqui, aqui, aqui ou aqui discutem-se os resultados das sondagens no Brasil, com alguns detalhes adicionais sobre a desagregação dos resultados e pesquisas qualitativas.

Sondagem Gallup International em 33 países: Israel e Líbano

A Gallup International, através das suas filiadas, conduziu uma sondagem em 33 países (incluindo Israel e Líbano) na 2ª e 3ª semanas de Agosto. O relatório é muito longo e pode ser lido aqui (.pdf).

Os resultados globais têm um interesse relativo (%'s da amostra geral acham isto ou aquilo), dado que dependem de algo que, de alguma forma, os predetermina: a escolha de países onde ocorreram sondagens. Foram estes:

Argentina, Austrália, Austria, Camarões, Canadá, Croácia, Finlândia, Alemanha, Geórgia, Grécia, Islândia, Índia, Indonésia, Irlanda, Israel, Coreia do Sul, Kosovo, Líbano, Luxemburgo, Moldova, Marrocos, Noruega, Paquistão, Portugal, Roménia, Rússia, Senegal, África do Sul, Suécia, Suíça, Reino Unido, Estados Unidos, Vietname.

E há ainda outro problema. As amostras variam muito de dimensão, entre 300 (na Grécia) e 1392 (na Rússia) - o que não me parece especialmente problemático - mas, nalguns casos, as amostras representam exclusivamente populações urbanas: Grécia (porquê?), Camarões, Geórgia, Indonésia, Líbano, Marrocos, Paquistão, Portugal (porquê?), Noruega (porquê?), Roménia, Senegal (Dakar), Suécia (porquê?) e Vietname. Nada disto invalida os resultados, mas faz com que tenhamos que os ver como são: em vários casos, não podem ser vistos como representativos da opinião da população nacional. Daí que fazer grandes agregações de resultados com todas as sondagens me pareça um exercício de interesse duvidoso.

Olhando para os resultados de outro ponto de vista, que dizer?

1. Who do you think initiated the war in Lebanon; Israel or Hezbollah?
Em geral, cerca de um terço dos inquiridos não respondeu. Na Alemanha, no Luxemburgo, no Reino Unido, no Canadá e Estados Unidos (e Israel, claro), maiorias defendem que foi o Hezbollah. Nos restantes casos, predomina a colocação da responsabilidade em Israel, de forma mais extrema nos países asiáticos e africanos incluídos no estudo do que nos países europeus (Grécia é excepção, mas eu não levaria os resultados gregos excessivamente a sério, pelas razões antes mencionadas).

2. Do you think Israel has gone too far, has taken about the right amount of military action or has not gone far enough?
A resposta simples e rápida é "too far", para maiorias em todos os países menos nos Estados Unidos e, claro, Israel.

3. Which side do you sympathize with more?
Aí está uma pergunta sem paninhos quentes. Mas portugueses, suíços, suecos, alemães, finlandeses e luxemburgueses repõem os paninhos: nem com uns nem com outros. Nos países asiáticos - incluindo, note-se, Coreia do Sul e Vietname - a resposta mais mencionada é "Hezbollah". O mesmo em África. Excepções: Índia e África do Sul, of course.

4. Há maiorias em todos os países apoiando a ideia de que a UN deve enviar uma força de manutenção de paz. Um consenso um bocado gasoso.

5. Um consenso porventura menos esperado e talvez menos gasoso. Cito: "In most participating countries, including the whole list of Western Europeans, the majority mentions Israel’s actions increase Hezbollah’s popularity, reaching a peak of agreement in Lebanon (79%; 65% fully agree) and Senegal (80%)." E até em Israel e nos Estados Unidos sucede isto: "in Israel, tough the majority believes support for Hezbollah will not increase (60%) a significant proportion of 36% differs. In the US although 43% states Israel’s action will spur support for Hezbollah, 26% disagrees. "

6. Uma profunda clivagem: "there appears to be consensus in considering Hezbollah as a terrorist organization in most of the countries that participated in the survey, reaching a peak of virtually all Israelis (97%). The exception [e que excepções] is countries with high proportion of Muslims such as Indonesia, Pakistan, Morocco and Senegal where more than half do not consider Hezbollah a terrorist organization. 87% of Lebanese are in this group".

7. Cito: "In Western Europe half the countries surveyed have higher proportion of people stating troops should not be sent (Austria, Portugal, Germany, Greece, Switzerland and UK) while in the other half, the strongest opinion is supportive (Sweden, Norway, Luxembourg, Ireland, Iceland and Finland).". Este nosso governo, de facto, não brinca em serviço quando se trata de tomar a opinião pública em consideração.

Há outras perguntas, mas estas pareceram-me as mais interessantes. O link para o relatório completo está lá em cima.

O relatório é de dia 28. Será que algum jornal português já apresentou estes resultados? E especialmente os resultados em Portugal? Não reparei.

Reader's Guide to Polls

Já que estamos nisto, e via pollster.com, cheguei a um texto de Jack Rosenthal, publicado no New York Times. Tudo isto já foi escrito e repetido mil vezes, mas vale sempre a pena repetir. Transcrevo algumas passagens:

Precisely False vs. Approximately Right: A Reader’s Guide to Polls
By JACK ROSENTHAL
Published: August 27, 2006

"False Precision
Beware of decimal places. When a polling story presents data down to tenths of a percentage point, what the pollster almost always demonstrates is not precision but pretension."

"Sampling Error
For a typical election sample of 1,000, the error rate is plus or minus three percentage points for each candidate, meaning that a 50-50 race could actually differ by 53 to 47. But the three-point figure applies only to the entire sample. How many of those are likely voters? In the recent Connecticut primary, 40 percent of eligible Democrats voted. Even if a poll identified the likely voters perfectly, there still would be just 400 of them, and the error rate for that number would be plus or minus five points. This caution applies forcefully to conclusions about other subgroups. What could a typical survey tell about, say, college-age women? Out of a random sample of 1,000, a little more than half would be women and only about 70 would be of college age. That’s too small a subsample to support any but the most general findings."

"Questions
How questions are phrased can mean wide shifts, even with wholly neutral words. Men respond poorly, for instance, to questions asking if they are “worried” about something, so careful pollsters will ask if they are “concerned.” (...) The order of questions is another source of potential error. That’s illustrated by questions asked by the Pew Research Center. Andrew Kohut, its president, says: 'If you first ask people what they think about gay marriage, they are opposed. They vent. And if you then ask what they think about civil unions, a majority support that.'"

"Answers
People never wish to look uninformed and will often answer questions despite ignorance of the subject. (...) Respondents also want to appear to be good citizens. When the Times/CBS News Poll asks voters if they voted in the 2004 presidential election, 73 percent say yes. Shortly after the election, however, the Census Bureau reported that only 64 percent of the eligible voters actually voted. Jon Krosnick, an authority on polling and politics at Stanford, uses the term “satisficing” to describe behavior when a pollster calls. If people find the subject compelling, they become engaged. If not, they answer impatiently. Either way, says Kathy Frankovich, director of surveys for CBS News, 'people grab the first thing that comes to mind.'"

"Intensity
How strongly people feel about an issue may be the most important source of poll misunderstanding. In survey after survey, half the respondents favor stronger gun controls — but don’t care nearly as much as the 10 percent who want them relaxed."

"Public opinion is not precise, and in any case it is constantly churning. Measuring it cannot hope to be precise. What readers can hope for, whether in an individual poll, a consensus from several polls or from the polling profession generally, is the truth — approximately right."

Blumenthal + Franklin

Os dois blogues que me servem de referência para o que significa informar sobre e analisar sondagens - o Mystery Pollster e o Political Arithmetik - conduzidos por Mark Blumenthal e Charles Franklin, decidiram juntar forças aqui: pollster.com. O Political Arithmetik continua - ainda bem - a ter existência própria. A não perder, especialmente tendo em conta a aproximação das "midterm elections" no Estados Unidos.