sexta-feira, outubro 24, 2008

Três perguntas.

Três perguntas num comentário ao post abaixo. Vou tentar responder, remetendo, sempre que possível, para quem sabe responder melhor do que eu:

1. Trata-se da fiabilidade das sondagens que são agregadas nos principais sites como o RCP, Pollster ou 538. No mesmo dia ou espaço curto de tempo, cerca de meia dúzia sondagens são capazes de ter 6 ou 8 pontos percentuais de diferença nos resultados (relativamente à distância entre candidatos), acontecendo isto com muita regularidade. Isto não compromete a confiança das sondagens?

Não devemos ficar surpreendidos com o facto de diferentes sondagens, conduzidas no mesmo momento, exibirem resultados cujas diferenças estão acima do que seria autorizado pelo erro amostral. Há uma multiplicidade de opções técnicas - amostragem, modelos de votantes prováveis, ponderadores, formato das perguntas, etc, etc, etc - que produzem essas diferenças. Há um livro muito bom de um antigo professor meu cujo título resume isso muito bem: The Total Survey Error Approach, em que "total" significa o erro amostral mais todas as outras fontes de erro. Como lidar com isto? Por um lado, importa procurar estimar em que medida há enviesamentos característicos trazidos por cada conjunto de opções metodológicas. Como essas opções tendem a ser estáveis em cada instituto, é possível estimar aquilo que se chama "house effects", ou seja, a tendência de cada instituto para favorecer/desfavorecer cada candidato ou partido. Mas isto mostra-nos apenas um determinado desvio em relação à (vamos chamar-lhe assim) "média", e não em relação à " realidade". O que é a realidade? Ninguém sabe. Mas o que o Nate Silver faz é tomar a prestação passada dos institutos de sondagens como indicador da sua aproximação a essa realidade, presumir que essa aproximação é um bom indicador da sua aproximação à realidade presente, e ponderar os resultados das sondagens na base disso. Aqui estão os indicadores do "track record" de cada instituto que o FiveThirtyEight usa nessas ponderações. É a abordagem mais "sofisticada" (mas também com alguns riscos. Nada garante que desempenho passado seja bom desempenho futuro, especialmente se as circunstâncias políticas e sociais mudarem. O próprio Nate Silver dá um exemplo). O Pollster.com e o RCP são mais agnósticos, o que também não é necessariamente boa ideia.

2ª A média das amostras penso que andam em cerca de 2000 pessoas por sondagem a nível nacional. Não será este um número demasiado baixo para um país de 300 milhões? Penso que 2000 é o número usado regularmente em Portugal, estou certo?

Não, não, e também não (sorry). Não sei o número médio, mas é fácil calcular olhando para esta lista. Sobre o - sempre intrigante - fenómeno de a dimensão do universo ser (quase completamente irrelevante para o erro amostral, ver aqui. Em Portugal, as amostras andam entre os 600 e os 1200. Só na véspera das eleições se costuma usar amostras maiores.

3º Esta já é de leitura de sondagens. Há já sondagens (em número e qualidade) suficientes para falarmos de uma tendência após o último debate presidencial, principalmente nos estados mais decisivos?

Sim, e parece que não teve efeitos.

1 comentário:

Anónimo disse...

Agradeço as respostas. Tinha uma especial curiosidade pela 2º questão que apenas levantei como uma tentativa de relacionar com a primeira.

Sabia bem que não existe a questão da proporcionalidade (tornaria-se mesmo o ridiculo em cidades pequenas), mas também não pensava que amostras iguais para diferentes nº de população teriam a mesma margem de erro. É útil saber este pormenor.

Sobre a 3ª questão, como tive problemas ao colocar aqui o comentário, perdeu um pouco o propósito, já que estava precisamente a referir às poucas sondagens que mostravam a recuperação de McCain (principalmente em Ohio).

Dois destaques que dou a recentes sondagens estaduais:

- Ohio volta a "lean obama" e Florida a "toss up".

- Obama coloca Dakota do Sul (vantagem de 3/4%) e Montana (desvantagem de 3%) como "toss-ups", abrindo uma possibilidade de ganhar uma linha que liga Washington (o estado) a Minessota. Pelo menos quase, porque Idaho é de McCain.