Taxa de resposta

Como se calcula a taxa de resposta numa sondagem? A taxa de resposta é a percentagem de entrevistas concluídas (802, no caso desta sondagem) em relação a um total que consiste em:

EC: entrevistas concluídas
EP: entrevistas parciais ou incompletas
R: recusas
NC: não-contactos (casos em que se confirma a existência de um inquirido elegível mas com o qual não se consegui estabelecer contacto).

Está explicado aqui.

Marktest, 14-16 Janeiro, N=802, Tel.

Cavaco Silva: 61,5%
Manuel Alegre: 15%
Fernando Nobre: 12,7%
Francisco Lopes: 3,3%
José Manuel Coelho: 2,1%
Defensor de Moura: 1,2%

Aqui. A soma disto dá 95,8%. A notícia reporta que "a percentagem de votos brancos e outros [quais outros?] é de 4,2 por cento". Se os deixarmos de fora, para tornar o resultado comparável com o de uma eleição, ficamos assim (entre parêntesis, comparação com sondagem anterior da mesma empresa):

Cavaco Silva: 64,2% (-14,1)
Manuel Alegre: 15,7% (+0,7)
Fernando Nobre: 13,3% (+9,3)
Francisco Lopes: 3,4% (+2,7)
José Manuel Coelho: 2,2%
Defensor de Moura: 1,3%

Mais uma vez

Anxo Luxilde, jornalista do La Vanguardia, cita-me como sendo "director de los sondeos de la Universidad Católica". Mas não: no fim de 2009, o meu mandato chegou ao fim, e solicitei que não fosse renovado. Agora estou no ICS em exclusividade. O novo - enfim, há cerca de um ano - director do CESOP é Rogério Santos.

Eurosondagem, 5-11 Jan, N=1010, Tel.

PSD: 37,3%
PS: 29,6%
CDS-PP: 10,1%
BE: 9,0%
CDU: 8,8%

Aqui.

Insónias

Ainda se lembram dos resultados das últimas sondagens nas eleições presidenciais de 2001? Não? Então vejam com muita atenção.

Uma conferência

Estive hoje numa conferência sobre Matemática e Eleições. Fui falar sobre sondagens. Estavam mais de 100 pessoas na assistência. Falei de erro amostral e outros tipos de erro, de cobertura, de "não-contacto" e "não-resposta".

Muitas perguntas. Perguntaram-se se o erro amostral é afectado pela dimensão da população sobre a qual estamos a fazer inferências. Se a abstenção afecta a diferença entre as intenções de voto e os resultados, e como e porquê. Em que medida os dados do recenseamento da população são úteis para quem faz sondagens. Se sempre é verdade que as sondagens subestimam sistematicamente o CDS e, se sim, por que será. O que se faz para corrigir distorções entre a composição das amostras e aquilo que julgamos saber sobre a população? E se nós sabemos as fontes de erro "não-amostral", o que podemos fazer para as contrariar? E porque não fazemos mais e melhor?

Quem me fez estas e outras perguntas foram alunos de 15 e 16 anos do Colégio Paulo VI, em Gondomar. Não é só as perguntas terem sido boas. Foram todas curtas, muito incisivas, feitas por pessoas que perguntam porque, simplesmente, querem saber. Nada do que sucede normalmente nas conferências em Portugal ("Bem, a minha pergunta não é bem uma pergunta, é um comentário," etc). Em suma, continuo optimista.

Presidenciais

Acrescentei os resultados das últimas sondagens Intercampus e Marktest. Corrigi os resultados das anteriores sondagens Intercampus, porque não me tinha dado conta de que, anteriormente, tinham apresentado projecções incluindo brancos e nulos no total. E acrescentei uma sondagem da Aximage de Junho passado.

Aximage, 3-6 Jan., N=600, Tel.

Cavaco Silva: 57,1%
Manuel Alegre: 20,8%
Fernando Nobre: 8,7%
Francisco Lopes: ?
Defensor de Moura: 3,1%
José Manuel Coelho: ?

Aqui.

Intercampus, 3-6 Janeiro, N=1002, Presencial

Cavaco Silva: 60,1%
Manuel Alegre: 25,3%
Francisco Lopes: 6,3%
Fernando Nobre: 4,2%
Defensor de Moura: 2,5%
José Manuel Coelho: 1,6%

Aqui. O total é 98,4%. Suponho que o resto são votos em branco, que não são contabilizados para apuramento final. A notícia fala de uma queda de 6,9 pontos para Cavaco. Notem que a anterior sondagem da Intercampus era, ao contrário desta, telefónica. É só uma sondagem. Há erro amostral. Etc. Mas não tenho ilusões nenhumas: toda a gente vai dizer que isto é um efeito do BPN.

P.S.- Se olharem para a sondagem anterior, vão ver Cavaco com 64,3 e talvez pareça estranho que se fale numa queda de 6,9. Mas os resultados da sondagem anterior foram apresentados com percentagens calculadas em relação ao total de votos válidos + em branco. Redistribuídos, Cavaco ficava com 67, e daí a queda de 6,9 para a sondagem de hoje.

Inquérito ao Emprego passa a ser telefónico

Acho a notícia de hoje sobre a mudança do modo de aplicação do Inquérito ao Emprego muito interessante, pelo menos de dois pontos de vista. O primeiro é que nos ajuda a perceber que, manifestamente, muitas pessoas não perdem tempo a pensar de onde vem a esmagadora maioria da informação das estatísticas nacionais. Por exemplo, hoje, a TSF anunciava que o BE iria pedir esclarecimentos sobre a mudança, anunciando que "as estatísticas nacionais não podem ser sondagens". Não podem? Mas é precisamente isso que são. Com excepção da informação que resulta dos recenseamentos da população, a maior parte das estatísticas nacionais, em qualquer país do mundo, resultam, precisamente, de inquéritos amostrais, ou seja, de sondagens (ver aqui a forma como o Inquérito ao Emprego vinha sendo conduzido até agora). Se devem ser presenciais, telefónicas ou online é algo que se pode discutir longamente,  e é óbvio que são feitas com recursos e tempo muitíssimo maiores que qualquer sondagem para a comunicação social. Mas são, no fundamental, sondagens, quer lhes queiramos chamar isso ou outra coisa qualquer.

O segundo ponto interessante é que, por isso mesmo, o INE talvez devesse ter sido capaz de prever que a súbita "recordação" desse simples facto poderia ser acompanhada de suspeitas e acusações várias, mesmo que completamente descabeladas. Uma das coisas que se diz na nota informativa do INE (descarregar aqui) é que a decisão de passagem para inquérito telefónico foi tomada em 2008 e que os trabalhos para a execução do “Projecto para o planeamento, concepção, preparação e implementação da entrevista telefónica no Inquérito ao Emprego (...) "decorreram desde então com grande intensidade". Houve um "trabalho rigoroso e intenso de planeamento, investigação, concepção e preparação" e foi realizado um "um conjunto vasto de testes estatísticos para medir o impacto das alterações a introduzir". Óptimo. Mas se é assim, por que razão "a descrição detalhada do processo de transição para o modo de recolha telefónico, bem como dos impactos nas estimativas a publicar no 1º trimestre de 2011 e nos conteúdos informacionais objecto de difusão, constarão de documento metodológico a disponibilizar oportunamente"' Haverá momento mais oportuno do que este? Se houve tanta preparação e investigação, não teria sido melhor divulgar os seus resultados agora? Acompanhar este anúncio com documentação metodológica detalhada seria a melhor maneira de fazer que esta mudança no modo de aplicação do inquérito fosse melhor compreendida. Assim, temos confusão desnecessária. Estou a ver mal?

Presidenciais

Eurosondagem, 15-20 Dez, N=2052, Presencial

Cavaco Silva: 60%
Manuel Alegre: 30%
Fernando Nobre: 4,8%
Francisco Lopes: 4,5%
Defensor de Moura: 0,7%

Aqui, ou talvez aqui.

Esta história de Natal já não é tão boa

Retirado daqui.

A minha história de Natal preferida

Intercampus, 10-15 Dez., N=607, Tel.

Cavaco Silva: 64,3%
Manuel Alegre: 20,7%
Fernando Nobre: 5,5%
Francisco Lopes: 4,5%
Defensor de Moura: 1%

Aqui.

E obrigado aos comentadores que me ajudaram a corrigir um Francisco trocado por um Fernando. Peço desculpa.

Intercampus, 10-15 Dez, N=607, Tel.

PSD: 41,6%
PS: 30,1%
BE: 10,7%
CDU: 8,8%
CDS-PP: 7,7%

Aqui.

Natal é quando a Gulbenkian quiser

A Gulbenkian, ao abrigo de um programa de internacionalização das ciências sociais, concede todos os anos distinções para os dois melhores artigos de ciências sociais publicados ou aceites para publicação em revistas internacionais de referência escritos por jovens investigadores (idade inferior a 40 anos) que trabalhem em instituições portuguesas. Foi anunciado hoje que, este ano, um dos prémios foi para Nina Wiesehomeier, minha colega no ICS, pelo artigo "Presidents, Parties and Policy Competition", em co-autoria com Kenneth Benoit. E o outro, bem, o outro foi para o meu amigo LA-C, por este artigo. Este ano já não preciso de escrever carta ao Pai Natal.

P.S.- Obrigado ao Pedro, ao Miguel e ao Carlos.
P.P.S.- Acabo de descobrir que, em 2009, os prémios foram também ambos para a Ciência Política: para o Tiago Fernandes e para a Catherine Moury.

As virgens e as domesticadas

Luis Queirós, fundador da Marktest, lança-me aqui um amistoso repto. Mas eu gostaria de comentar não tanto o repto mas sim - igualmente com amizade mas também com a seriedade que a coisa merece - o que é escrito no post. E infelizmente, acho que o post confunde muito mais do que clarifica.

Luis Queirós explica os já famosos 78,3% de intenções de voto para Cavaco Silva captados na última sondagem da Marktest ("possivelmente bem acima do que serão resultados nas eleições de Janeiro próximo", diz) com um fundamento, digamos, metodológico:

"Deixem-me explicar: nós trabalhamos com amostras virgens, sem vícios nem preparação prévia, e por isso captamos as mudanças como ninguém o consegue fazer. Isso tem um custo, pois onde nós temos 80% de recusas, outros apresentam 80% de respostas. Mas captamos a essência da “emoção” eleitoral, uma espécie de “flor do sal” da opinião pública. E, não raramente, elas funcionam como uma espécie de candeia que vai à frente, e que os outros acabam por seguir."

Eu acho que sei do que fala Luis Queirós. Mas a maioria das pessoas não saberá, pelo que este comentário só ajuda a lançar confusão. E ainda por cima, acho que LQ não demonstra nada daquilo que afirma. Vejamos, então:

1. Suponho que aquilo de que Luis Queirós (LQ) deverá estar a falar é de sondagens com taxas de resposta muito elevadas, que só podem ser obtidas - em estudos deste género - se as entrevistas forem tentadas não junto da população em geral mas sim de uma espécie de painel permanente, de maiores ou menores dimensões, de onde se seleccionam inquiridos de cada vez que se faz uma sondagem. Ou muito me engano - ele poderá corrigir-me - ou está a falar da Aximage. Vejam aqui: "A Aximage possui um sub-universo de cerca de trinta mil nomes com selecção aleatória estratificada assente em matrizes que cruzam região x habitat; sexo x idade x escolaridade x actividade; região x voto. A amostra desta sondagem obedeceu a técnica equivalente mas assente no sub- universo." E de facto, como seria de prever, a Aximage tem taxas de resposta muito altas junto deste "sub-universo" de indivíduos pre-seleccionados. 72%, no caso desta sondagem.

2. Se for disto que LQ está a falar, deveria então, creio, ter explicado melhor por que razão isto é uma amostra "com vícios". Claro que a aceitação por parte dos respondentes em fazer parte destes paineis pode significar que deixam de ser representativos da população. E claro que há "efeitos de painel", em que a reinquirição ou a mera pertença a esse painel pode reforçar a sua não representatividade. Mas há também vantagens neste procedimento, incluindo a possibilidade de contactar a amostra através de telemóvel e de garantir altas taxas de resposta. Muito depende, de resto, da forma como o painel terá sido escolhido. O da Aximage é, de resto, muito grande, limitando os riscos da reeinquirição sistemática. E achará LQ que as 807 entrevistas que a Marktest conseguiu fazer depois de ter tentado estabelecer 30750 contactos (não me canso de saudar a Marktest por esta transparência) conduziu a uma amostra "sem vícios"? Há aqui uma contraposição entre uma forma alegadamente "melhor" e uma forma alegadamente "pior" de fazer as coisas que me parece muito pouco fundamentada. Se fosse necessariamente como LQ diz, a YouGov estava bem arranjada.

3. Há, de resto, algo que LQ não menciona e que, à luz da sua explicação, permanece um enigma. Que eu saiba, as amostras seleccionadas pela Eurosondagem, pela Católica, ou pela Intercampus são, para usar a linguagem de LQ, tão "virgens" como as da Marktest. Ou seja, para cada estudo, é seleccionada uma amostra nova de entre números de telefone nacionais ou domicílios por caminho aleatório. E por que razão a Marktest terá apresentado um resultado de 78% para Cavaco Silva quando outras sondagens, em momentos próximos e com amostras igualmente "virgens", lhe dão intenções de voto entre os 57 e os 63%? A explicação improvisada por LQ para explicar os resultados da Marktest não colhe.

4. Mas LQ sugere também um carácter algo "especial" das sondagens da Marktest: "elas funcionam como uma espécie de candeia que vai à frente, e que os outros acabam por seguir." Será? Não foi assim em 2005. Nem me parece que tenha sido em 2006. Nem no referendo sobre a despenalização do aborto em 2007. Nem nas legislativas de 2009. Eu julgo, sem saber de ciência certa, que LQ se refere ao facto de, antes das Europeias de 2009, a Marktest ter sido a única empresa que colocou o PSD à frente nas intenções de voto. Mas se é isto, parece-me base muito limitada para sugerir que a Markest antecipa quaisquer tendências. De resto, como se vê por este quadro, mesmo no caso das Europeias de 2009, a alegada capacidade de "antecipar tendências" nuns casos coexiste com a incapacidade de as detectar noutros. Em suma, gostava que me mostrassem onde está a tal "candeia" a funcionar. Não a vejo. Vocês vêem? Ajudem-me a encontrar a luz.

É normal que, nos meses antes das eleições, haja uma dispersão considerável nos resultados das sondagens, que tenderá a diminuir com o tempo. Pode também suceder que, por razões metodológicas e sem qualquer intencionalidade política, os estudos de uma determinada empresa tendam a subestimar os resultados deste ou daquele partido enquanto que os de outra os sobrestimam. Em Portugal, esta demonstração está por fazer, apesar de muita conversa barata. Mas claro que pode suceder que esta ou aquela opção tenda a levar à subrepresentação ou sobrerepresentação de determinados grupos populacionais que, se tiverem comportamentos eleitorais diferentes dos outros, irão levar a que os resultados variem de empresa para empresa de forma sistemática. "House effects": isto está mais que estudado até à exaustão noutros países. E há, finalmente, erro aleatório. Mas LQ não fala de nada disto. Palpita-me que ele acha que Cavaco Silva terá um resultado acima dos tais 55 a 63% que as sondagens a que chama "domesticadas" - esta linguagem choca-me um pouco - lhe dão neste momento. Logo, 78%, "resultados disruptivos" e tal, são uma coisa bestial. Lamento, mas isto merecia outro cuidado.

Aximage, 5-7 Dezembro, N=600, Tel.

Com indecisos:
PSD: 39,8%
PS: 27,2%
CDS: 8,8%
CDU: 8,4%
BE: 7,4%
OBN: 5,4%
Indecisos: 3,0%

Com indecisos redistribuidos:
PSD: 41,0%
PS: 28,0%
CDS: 9,1%
CDU: 8,7%
BE: 7,6%
OBN: 5,6%

Aqui.

Eurosondagem, 2-7 Dezembro, N=1.032, Tel.

PSD: 36,2%
PS: 30,3%
CDS-PP: 9,6%
BE: 9,3%
CDU: 8,4%
OBN: 6,2%

Aqui.