Intervalos de confiança exactos (e outros)

Para os cálculos que o LA-C fez aqui à unha (ou seja, com o Matlab), há um bom simulador online que calcula quatro tipos de intervalo de confiança. O intervalo habitualmente estimado (por aproximação normal à binomial, que usei aqui) é o Wald. O que o Luís calculou é o exacto. Quanto aos outros, a página explica, mas eu vou ter de ruminar mais um bocadinho sobre o assunto. Há também estimativas pontuais alternativas. Um maná.

E um mini-paper que desenvolve o que o Luís explicou.

Ainda o empate entre o PS e o PSD

Há quem não goste da estratégia de tratar de várias sondagens como se de uma só (grande) sondagem se tratasse. Os argumentos são legítimos: Não podemos saber se não terá havido uma pessoa a responder a mais do que uma sondagem, as metodologias das sondagens são diferentes, o tratamento dos indecisos é diferente, etc, etc. Todos estes argumentos são válidos apesar de, na minha opinião, serem pouco relevantes. De qualquer forma, podemos pegar no problema por outra perspectiva.

Vamos admitir que o PS e o PSD estão, de facto, empatados. Se esta hipótese estiver correcta, então a probabilidade de o PS aparecer à frente numa dada sondagem é de 0,5 (50%). A probabilidade de aparecer à frente em duas sondagens é de 0,5x0,5=0.25 (25%). A probabilidade de aparecer à frente nas seis sondagens já realizadas seria de 0,5^6=0,015625 (1,56%). Ou seja, se os partidos estivessem empatados, a probabilidade de nas 6 sondagens já feitas o PS aparecer sempre à frente seria de 1,56%. Podemos então pôr de parte essa hipótese de ambos estarem empatados com um grau de certeza de 98,4%. É impossívelque estejam empatados? Não, apenas altamente improvável. O mesmo raciocínio se aplica à disputa pelo terceiro lugar, entre o BE e o CDS, e à disputa para o 4º lugar no pódio, disputa entre o CDS-PP e a CDU.

Intervalos de confiança (só para nerds)

Num dos seus últimos posts, o Pedro explicou com algum detalhe como se calculam intervalos de confiança a partir das sondagens. Penso que explicou muito bem, mas houve algo que não explicitou.

A ideia de um intervalo de confiança é tentar perceber que votações num dado partido são compatíveis com uma dada sondagem. Por exemplo. Suponhamos que uma sondagem dá 40% ao PS. É apenas uma sondagem, não podemos ter a certeza de que a percentagem de votantes no PS seja, de facto, 40%. Pergunta-se então que valores que são compatíveis com os 40% da sondagem? Se a sondagem aponta para 40%, então não é razoável acreditar que o verdadeiro valor das intenções de voto seja 80%, por exemplo. Já 38 ou 42% parecem valores razoáveis. E 48%?, é razoável? É na definição dos extremos que entram os intervalos de confiança.

Por qualquer motivo, que desconheço, convencionou-se que um bom intervalo de confiança era o de 95%. A ideia é subtil. Escolhe-se um intervalo de tal forma que se se fizessem muitas sondagens, 95% delas incluiriam o verdadeiro valor da votação do PS nos seus intervalos de confiança. Isso quer dizer que se, se fizer muitas sondagens, uma em cada 20 errará por muito.

Como calcular esse intervalo de confiança? Quem sabe uns rudimentos de estatística, sabe que a distribuição dos votos segue uma lei de probabilidade binomial. Mas esta é daquelas distribuições que é chatinha de usar, pelo que a maioria das pessoas usa a lei normal, que é muito simples de usar e é uma aproximação bastante razoável na maioria dos casos.

Infelizmente, quando se fala de partidos com pequenas votações a aproximação deteriora-se bastante, podendo até levar a situações de puro nonsense. Imagine o leitor que numa amostra de 400 pessoas, 0,7% declararam votar no POUS. Um intervalo de confiança de 95% incluiria todos os valores desde o 0,1% negativos até ao 1,5% positivo. Ou seja, estar-se-ia a considerar como hipótese razoável que o POUS tivesse um número negativo de votos. Já se se usasse a lei binomial concluir-se-ia, correctamente, que o intervalo de confiança ia de 0,15% até 1,79%. Refaço o quadro que o Pedro fez com os intervalos de confiança para a última sondagem da Aximage, com percentagens calculadas para um universo de 401 pessoas):

Veja-se que a aproximação que o Pedro fez é quase perfeita para o PS e PSD, subestima um pouco a votação dos pequenos partidos (BE, PCP e CDS) e prejudica bastante os micro partidos (o meu intervalo inferior é 30% mais elevado que o do Pedro). Repare-se que este fenómeno pode ajudar a explicar a sensação que muitas vezes se tem de que as votações dos pequenos partidos, sistematicamente, se situam na parte superior do intervalo de confiança. Muitas vezes ouvi dirigentes do PCP e do CDS a queixarem-se disto mesmo.

Olhando para os intervalos de confiança estimados a partir desta sondagem, não se poria de parte a hipótese de o PSD ser o mais votado, nem de o CDS-PP ser a terceira força. Infelizmente para uns, e felizmente para outros, o facto de haver várias sondagens permite reduzir os intervalos de confiança. Como mero exemplo académico, imagine o leitor que em vez de uma sondagem da Aximage, havia 4 sondagens diferentes, feitas seguindo a mesma metodologia e que em média, os resultados são iguais ao quadro de cima. Excluindo a hipótese de haver alguém que tenha respondido a mais do que uma sondagem, temos o equivalente a uma grande sondagem feita com base em 1604 pessoas:

Os intervalos de confiança ficam bem estreitos. Dado que já várias sondagens foram feitas e que todas apontam para uma vitória do PS é difícil de aceitar a hipótese de o PSD e o PS estarem empatados. Para já, o PS leva vantagem.

Europeias: ponto de situação

Desopilar

"Por outro lado, enquanto líder do PSD-M, [Alberto João Jardim], questionado sobre a sondagem que aponta para um empate técnico entre PSD e PS para as eleições europeias, começou por dizer que nao comenta sondagens e que «de empates estou eu farto no Marítimo".

A última sondagem da Aximage, reloaded

Ora bem: tudo esclarecido na versão em papel do Correio da Manhã (parabéns ao CM, já agora):

Abstenção: 64,7% (776 dos 1200 inquiridos, na base do gráfico apresentado)

Intenções de voto antes de redistribuição de indecisos:
PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU (PCP): 7,9%
CDS-PP: 6,3%
OBN: 2,8%
Indecisos: 5,4%

Intenções de voto após redistribuição de indecisos (tratados como abstencionistas; meu cálculo):
PS: 40,2%
PSD: 32,9%
BE: 9,0%
CDU (PCP): 8,4%
CDS-PP: 6,7%
OBN: 3,0%
(Soma dá 100,2% devido a arredondamentos)

Agora notem uma coisa interessante. Se na amostra há 776 declarados abstencionistas, e se nos 424 que indicaram que iriam votar há 5,4% de indecisos (23 pessoas), então a sub-amostra na base da qual os últimos resultados são calculados é composta por 401 observações. E se é assim:

Então esta sondagem dá (espero não ter errado nenhuma fórmula)... outro empate técnico entre o PS e o PSD, seja do ponto de vista mais vulgar da "sobreposição de intervalos" seja do ponto de vista mais correcto da significância estatística da diferença entre as duas proporções. Não parecia, pois não? Isto, claro, na presunção de que os 64,7% de abstencionistas correspondam a 64,7% da amostra. Mas no CM em papel não ficam dúvidas disso.

Por outro lado, como expliquei aqui no outro dia, não é de todo indiferente que esta seja a sexta de seis sondagens onde, havendo "empates técnicos", há sempre mais intenções de voto no PS que no PSD...

Europeias. Aximage, 18-22 Maio, N=1200, Tel.

PS: 38,0%
PSD: 31,1%
BE: 8,5%
CDU: 7,9%
CDS-PP: 6,3%

Aqui e aqui. As notícias são omissas sobre indecisos, pelo que talvez possamos presumir que o que falta aqui para 100% (8,2%) serão votos para outros partidos, brancos e nulos.

Mais sobre "empates técnicos" (só para nerds)

Um comentário de um leitor chamou-me imediatamente a atenção para que posso ter estado a induzir leitores em erro sobre a questão de quando é que a diferença entre dois partidos se pode dizer ser "estatisticamente significativa" numa sondagem. O que fiz aqui num post anterior foi usar a definição comum de "empate técnico" (sobreposição de intervalos ditados por margens de erro associadas a duas estimativas diferentes) e, aproveitando para ilustrar algumas aplicações erróneas do conceito de margem de erro (que ignoram a ideia de "margem de erro máxima" ou não tomam em conta a dimensão das sub-amostras de eleitores com reais intenções de voto), mostrar que, na base dessa definição, todas as sondagens para as europeias foram "empates técnicos" entre o PS e o PSD.

Mas importa notar que, se quisermos mesmo saber se as diferenças entre dois partidos numa sondagem são estatisticamente significativas com um determinado nível de confiança, a abordagem, sempre que haja mais do que duas opções de resposta, tem realmente de ser diferente (a abordagem que vou adoptar aqui não é a mesma, julgo, daquela que usou o comentador, mas a mensagem genérica é a mesma).

A margem de erro associada às diferenças entre as proporções dos partidos não é a mesma coisa que a margem de erro associada a cada proporção. Para isso, temos de calcular - desculpem o jargão - a variância da diferença entre duas proporções multinomiais. Eis a fórmula:


O caso concreto que dei foi o de converter as cinco sondagens numa única, em que 2477 respondentes teriam dado as suas intenções de voto numa única pergunta. Nesse caso, o PS teria 35,5% dessas intenções, e o PSD 33,3%. A margem de erro (com 95% de confiança) para a diferença entre o PS e o PSD equivale a:



Esse valor, com estes resultados e com um N de 2477, é de 3,27%. Por outras palavras: a diferença obtida na sondagem (2,2 pontos percentuais) é inferior à margem de erro para a diferença entre as estimativas (3,27). A diferença não está fora da margem de erro. Logo, aqui sim, "empate técnico" propriamente dito.

Já agora: se a dimensão da amostra, em vez de 2477, fosse de 5500 inquiridos, a margem de erro das diferenças seria 2,19%. Por outras palavras, a mesma diferença entre o PS e o PSD (2,2 pontos) já seria estatisticamente significativa.

Tudo isto está superiormente (como sempre) explicado aqui, que por sua vez o tirou do "clássico dos clássicos".

Uma impressão de campanha

Escreve aqui alguém que, ao contrário do que alguns possam imaginar, não percebe rigorosamente nada de campanhas políticas. Mas queria notar apenas, de forma meramente intuitiva, o contraste enorme entre a campanha do PS para estas europeias e a dos restantes partidos. Há na campanha do PS uma quase total "despersonalização". Os cartazes mostram figurantes contratados, falam de eventos históricos e só ao longe, estabatidas, estão as personalidades políticas, algumas delas sem relevância directa para os dias de hoje. Vital Moreira está ausente dos cartazes e parece, nas suas aparições públicas, uma pessoa algo diferente daquela que se conhecia de outras aparições noutros contextos. A ideia de meter Ana Gomes e Elisa Ferreira nas listas, se era para lhes dar visibilidade acrescida para as suas campanhas posteriores, não está a funcionar muito bem. Pelo contrário, BE, CDS-PP, PSD e até a CDU apresentam os seus candidatos, mesmo que alguns sejam completos desconhecidos. E nota-se um esforço do PS em remeter o seu discurso para questões "europeias", ao passo que os restantes partidos não passam sem uma ligação da Europa aos problemas nacionais, ou seja, àqueles que interessam aos eleitores.

Imagino que isto seja deliberado, pensado, eventualmente até testado com focus groups e sondagens. E daí talvez não. Talvez esta campanha do PS esteja a ser conduzida e organizada por pessoas sem competência para a função. Já sucedeu no passado com vários partidos, em várias eleições. E costuma ser um indicador interessante sobre a "saúde" de um partido, a sua coesão e motivação e o grau de isolamento da sua liderança. Dentro de poucas semanas, saberemos melhor.

Em 2004, foi assim

Um fenómeno muito conhecido e quase sempre repetido é que, à medida que nos vamos aproximando da data das eleições, os resultados das sondagens começam a convergir. Seja porque só no final as intenções dos eleitores começam a "cristalizar" seja porque as sondagens look over their shoulders, é isso que quase sempre sucede. Veremos o que sucederá na próxima semana. Mas em 2004, foi isso mesmo que sucedeu. O quadro mostra os resultados das sondagens divulgadas na última semana. Onde foram apresentados resultados com indecisos, tratei-os como abstencionistas, para tornar os resultados comparáveis entre si e com resultados de eleições. Como vemos, por essa altura, todas indicavam mais intenções de voto para o PS do que para a coligação PSD/CDS-PP, como veio a suceder. E as diferenças entre as sondagens são bem menores que aqueles que verificamos hoje nas sondagens realizadas até agora para as europeias de 2009.





Contudo, ao contrário do que veio a suceder um ano depois nas legislativas, permaneceram grandes variações quer na estimação das intenções de voto na coligação quer na votação da CDU. E todos indicaram mais intenções de voto no BE do que aquele que veio a ser o seu resultado (mesmo que as diferenças sejam insignificantes em dois casos). Por outras palavras, repetindo um padrão já conhecido, eleições com muito elevada abstenção tendem a produzir maiores discrepâncias entre as sondagens e os resultados eleitorais, assim como maiores discrepâncias das sondagens entre si. Intenções de voto recolhidas acabam por não se converter em comportamentos, e diferentes pressuposições sobre como tratar o fenómeno da abstenção e estimar o que poderá ser o "votante provável" acabam por fazer sentir os seus efeitos neste confronto entre sondagens realizadas a uma semana das eleições e os resultados. Logo, eu seria céptico sobre a possibilidade das próximas sondagens "resolverem" todas as dúvidas sobre o que poderá suceder dia 7, especialmente porque, desta vez, tudo o que vimos até ao momento sugere que a margem de vitória de seja quem for o vencedor será certamente menor.

"Empate técnico"

Noto alguma agitação na blogosfera (e não só) devido ao "empate técnico" entre o PS e o PSD declarado pelo Expresso a propósito da última sondagem da Eurosondagem sobre as europeias. Se bem entendo, o "empate" é declarado porque a diferença entre o PS e o PSD (2,2%) é igual à margem de erro declarada na ficha técnica (2,2%). "Vantagem do PS é de apenas 2,2%, o que equivale praticamente à margem de erro deste estudo de opinião", escreve-se no Expresso.

Minha nossa. Ora vamos lá outra vez:

1. A margem de erro anunciada na ficha técnica não é a margem de erro associada às estimativas para o PS ou para o PSD. Por duas razões. Primeiro, a dimensão da amostra na base da qual essas margens de erro têm de ser estimadas é inferior à dimensão da amostra geral na base da qual se apresenta calcula a margem de erro anunciada na ficha técnica. É inferior porque as percentagens são calculadas em relação a uma base que exclui indecisos e abstencionistas. Segundo, a margem de erro apresentada na ficha técnica é uma margem de erro máxima, presumindo amostragem aleatória e com uma confiança de 95%. Essa margem de erro máxima é a associada a uma estimativa de 50%. Quando as estimativas são superiores ou inferiores a 50%, a margem de erro é diferente (inferior).

2. Logo, se quisermos saber qual é o intervalo que cada sondagem está a estimar para cada estimativa - mais uma vez, presumindo amostragem aleatória e com 95% de confiança - não se trata de somar e subtrair 2,2% (ou seja lá o que a ficha técnica identifique como margem de erro máxima) a cada resultado, como muita gente costuma fazer. A margem de erro tem de ser calculada para cada caso, tendo em conta a sub-amostra em relação à qual as percentagens são calculadas e o valor concreto que está a ser estimado.

3. As notícias na imprensa nem sempre são claras quanto à dimensão dessa dita sub-amostra. Só lá se pode chegar por inferência, usando a informação sobre a dimensão da amostra geral, a percentagem daqueles que dizem que não votariam e a percentagem dos indecisos (normalmente tratados como abstencionistas quando se trata de redistribuir).

4. Se o fizermos, chegamos rapidamente à conclusão que todas as sondagens divulgadas até agora sobre as Europeias configuram um empate técnico entre o PS e o PSD, se por "empate técnico" entendermos intervalos que se sobrepõem para as estimativas dos dois partidos (presumindo amostragem aleatória e com 95% de confiança). A saber:

Marktest:
PS: 27,3-38,9
PSD: 27,1-38,7

Intercampus:
PS: 29,3-38,7
PSD: 28,8-38,2

CESOP:
PS: 34,5-43,5
PSD: 31,6-40,4

Aximage:
PS: 33,5-47,5
PSD: 27,3-40,7

Eurosondagem:
PS: 31,6-37,0
PSD: 29,4-34,8

Os intervalos são enormes? São: porque são tantos os que se declaram abstencionistas ou indecisos que a sub-amostra que sobra para estimar resultados é diminuta. E é assim que as coisas são, não há volta a dar-lhe. Só no planeta em que vive o deputado Marco António é que as "boas" sondagens têm toda a gente a dizer que vai votar e a saber perfeitamente em quem.

5. Se a isto somarmos que:
- as sondagens foram conduzidas em momentos diferentes;
- usam metodologias completamente diferentes e há muitas fontes de erro para além do erro aleatório amostral;
- estimam intenções de voto num momento, e não comportamentos no futuro;
- nenhuma amostra é verdadeiramente aleatória (tendo em conta recusas e impossibilidade de encontrar o inquirido que devia responder) e algumas não são aleatórias de todo (usando quotas);
- as margens de erro são estimadas com 95% de confiança (1 em cada 20 inquéritos vai produzir resultados fora da margem);
- as discrepâncias enormes entre os resultados das cinco sondagens...

ficamos com uma boa ideia da incerteza associada aos resultados do próximo dia 7.

6. Dito isto, atenção. Apesar de termos cinco "empates técnicos", as sondagens têm uma coisa em comum. O PS está à frente em todas. Podem estar todas erradas, claro. Mas que o PS tenha estado sempre à frente não é indiferente. Imaginem que, em vez de as tratamos com cinco sondagens diferentes, as tratamos com uma única sondagem, em que a sub-amostra dessa "super-sondagem" é a soma das sub-amostras das restantes (2477 inquiridos). Se o fizermos, o PS aparece com 35,5% e o PSD com 33,3%. Mas a margem de erro associada a ambos os casos é substancialmente menor, 1,88% para o PS e 1,86% para o PSD. Continua a ser "empate técnico", mas note-se, por exemplo, como o resultado máximo do PSD (35,1%) é inferior à estimativa pontual para o PS (35,5%). Mas as sondagens foram conduzidas em momentos diferentes, usam metodologias diferentes, etc, etc, etc. "Incerteza", sim, parece-me bem, para já.

Pausa

Três dias sem net.

Europeias: sondagens até ao momento

Europeias. Eurosondagem, 17-20 Maio, N=2048, Tel.

PS: 34,3%
PSD: 32,1%
BE: 10,1%
CDU: 8,9%
CDS-PP: 6,9%
OBN: 7,7%

Aqui.

Progressão geométrica

Há dias, citei uma entrevista de Nuno Melo, do CDS-PP, concedida ao Correio da Manhã, onde falava de "variações de 100, 200 e de mais de 300 por cento" entre sondagens realizadas a um mês ou mais das eleições e os vieram a ser os resultados eleitorais do CDS-PP. Na entrevista de hoje ao Público, Nuno Melo clarifica o que queria dizer com "mais de 300 por cento":

"as diferenças de 800 por cento entre as sondagens e os resultados nas urnas acabaram por criar em mim uma imunidade a sondagens."

Europeias. Aximage, 5-7 Maio, N=600, Tel.

Antes de redistribuição de indecisos:
PS: 38,5%
PSD: 32,3%
BE: 9,2%
PCP: 8,7%
CDS-PP: 5,6%
OBN: 0,7%
Indecisos: 5,0%

Após redistribuição (proporcional) de indecisos:
PS: 40,5%
PSD: 34,0%
BE: 9,7%
PCP: 9,2%
CDS-PP: 5,9%
OBN: 0,7%

São assim quatro as sondagens divulgadas até ao momento sobre as Europeias:

Correcção no método

Quase duas semanas depois de o CDS-PP ter anunciado, em conferência de imprensa, que iria "apresentar uma queixa junto da Entidade Reguladora da Comunicação Social sobre a última sondagem da Universidade Católica, considerando que 'ou há erro ou má-fé'", Nuno Melo, cabeça de lista do CDS-PP às Europeias, afirma hoje em entrevista ao Correio da Manhã que "nem quer que lhe passe pela cabeça" que haja "alguma intenção" por detrás dos resultados da sondagem. Não acredita "que haja reserva mental vindo de onde vem". O que verifica é que a Católica "nunca acerta"e que há "variações de 100, 200 e de mais de 300 por cento" (sic). "Exigia-se correcção no método.", afirma. "As previsões [sic] completamente irrealistas em relação ao CDS mantém-se numa lógica perversa num Estado de direito e numa democracia porque não andamos a brincar às sondagens e isto pode ter um efeito desmobilizador. E ataca um partido que é fundador da democracia portuguesa."

E a queixa na ERC: já terá dado entrada?

Brinquedo novo para os próximos meses

Isto é simplesmente fantástico.

"Portugal: uma democracia em construção"

A Imprensa de Ciências Sociais acaba de editar um livro de homenagem a David Goldey, com o mesmo título deste post. Um dos capítulos é particularmente tentador, e por isso é o único que li até ao momento (para além daquele de que sou co-autor, naturalmente): "To boldly go where no man has ever gone before. As decisões do Presidente Sampaio de Julho e Dezembro de 2004", por Fernando Marques da Costa, antigo assessor do Presidente da República. Vale mesmo a pena, independentemente do que ficarmos a achar no final da leitura.

Legislativas. Aximage, 5-7 Maio, N=600, Tel.

Resultados brutos:

PS:37,3% (38,1%)
PSD:26,7% (25,1%)
BE:12,6% (12,6%)
CDU:8,5% (10,3%)
CDS:5,2% (5,7%)
OBN+Indecisos: 9,7% (8,1%)

Na base desta notícia, não é possível apresentar os resultados como se fossem resultados eleitorais, dado que os valores para "indecisos" e "outros, brancos e nulos" não são apresentados. Mas talvez a edição em papel amanhã tenha esta informação.

Ignorando essa questão, e se nos concentramos apenas nas tendências, temos que, nas últimas quatro sondagens divulgadas sobre legislativas:

- PS desce em 3, mantém numa.
- PSD sobe em 3, desce numa.
- BE sobe em 3, mantém numa.
- CDU desce em 3, sobe numa.
- CDS-PP desce nas quatro.

Atenção, contudo, que os pontos de comparação temporais não são sempre os mesmos: mensal para Marktest, Aximage e Eurosondagem, trimestral para CESOP/UCP.