1. Serviram as sondagens como um bom elemento de previsão para os resultados? Bem, é evidente que não, mas vejamos a coisa em mais detalhe. O que sempre se faz aqui neste blogue é calcular o chamado "erro 3 de Mosteller", ou seja, simplesmente a média dos desvios absolutos entre os resultados eleitorais e das últimas sondagens para os principais partidos:
Em média, as sondagens diferenciaram-se dos resultados eleitorais de cada um dos cinco maiores partidos em 2,5 pontos no caso da Marktest, 2,8 nos casos do CESOP e da Eurosondagem e 3 pontos no caso da Aximage. A "média das médias" é 2,8 pontos. As diferenças entre o desempenho das diferentes sondagens não é muito relevante: são uniformemente distantes dos resultados finais, em especial em comparação com o desempenho geralmente muito superior nas eleições nacionais imediatamente anteriores, como as Presidenciais ou as Legislativas. Mas a Marktest, para além de ter o menor erro médio, tem uma clara vantagem em relação às outras num aspecto crucial: foi a única a, correctamente, colocar o PSD à frente do PS. Parabéns à Marktest.
2. Nas sondagens à boca das urnas - que medem comportamentos em vez de intenções - o desempenho, claro, foi superior, quando comparamos os resultados com os pontos centrais dos intervalos fornecidos:
O erro médio da Intercampus foi 0,5, do CESOP 0,9, e da Eurosondagem 1,1 pontos. A Intercampus foi quem esteve globalmente mais perto.
3. Vai correr alguma tinta sobre a falta de "credibilidade" das sondagens pré-eleitorais, e é inteiramente justo que se aborde a coisa assim à luz destes resultados. Mas note-se que isto não é novidade em relação às Europeias. Em 2004, "a média dos erros absolutos médios" cometidos pelas quatro últimas sondagens pré-eleitorais foi de 2,5 pontos, pouco menor que em 2009. E em geral, como tinha recordado aqui no dia 5, este é o padrão geral na comparação entre as sondagens feitas para as Europeias com o que se passa nas Legislativas desde 1991. Grande candidato para explicar o problema? A abstenção, evidentemente. Mas isto não isenta quem faz sondagens de responsabilidades: infelizmente, há uma frase de um artigo que escrevi em 2005 que continua a ser verdade:
"However, large errors remain the norm in polls pertaining to European Parliament elections, suggesting a shared inability of Portuguese polling organizations in dealing appropriately with the problems caused by low turnout."
Fica-me a fraca consolação de não ter de lhe mudar uma vírgula.
4. E tendo em conta tudo o que se passou na campanha no que respeita a sondagens, especialmente, desta vez, em relação ao CDS-PP e (não só, mas especialmente) ao CESOP, já sei o que me espera nos próximos dias. "Eu bem te disse" será o mínimo dos mínimos. Pois. Mas notem:
- continua a ser verdade que o CDS-PP não é invariavelmente subestimado, nas sondagens pré-eleitorais, em todo o tipo de eleições e, nalguns casos, essa subestimação (ou sobrestimação) é estatisticamente irrelevante.
- a hipótese de que o eleitor do CDS-PP é mais atreito a ocultar o seu sentido de voto, várias vezes aventada para explicar os casos em que as sondagens pré-eleitorais têm resultados inferiores aos das eleições, colide com a capacidade das sondagens à boca das urnas para captarem o voto no CDS-PP, como se pode ver acima. Se ocultaram numa, porque não ocultaram nas outras?
Dito isto, obviamente, o que se passou desta vez tem peso, e não só por ser mais notório à luz da controvérsia ocorrida: é que a subestimação do CDS-PP, desta vez, foi muito maior do que tinha ocorrido antes quando o CDS-PP foi subestimado no passado (mais do que nas legislativas de 2002, certamente, e até mais do que nas Europeias de 1999, se a memória não me falha aqui). As sondagens pré-eleitorais subestimaram o CDS-PP entre 5,1 (Marktest) e 2,3 (Eurosondagem) pontos. Basta ver a olho para perceber que é muito ponto para um partido com menos de 10% dos votos. Por mero acaso é que isto não aconteceu. Mas porquê? Dificuldade em captar a tendência (ascendente) do CDS-PP em campanha? A tal "ocultação" (mas como compaginá-la com os resultados da boca das urnas)? Problemas de amostragem (mas como é que sondagens telefónicas, presenciais, aleatórias e por quotas partilham o mesmo problema)? Mais hipóteses (não conspirativas)? Se as têm, seria interessante discuti-las.
Obrigado pela atenção, e até breve.
39 comentários:
Faltará pedir desculpas ao CDS e ao país, aceitando que a direcção do CDS tinha TODA a razão.
Sobre o caso CDS, ocorre-me uma teoria que talvez não faça sentido nenhum, mas talvez faça:
talvez a maioria dos eleitores do CDS não tenha problema quase nenhum em votar no PSD (eu imagino mais facilmente um eleitor usual do CDS a votar ocasionalmente no PSD do que qualquer outra transferência inter-partidária); se assim for, é possivel que os eleitores potenciais do CDS fiquem indecisos sobre quem vão votar até muito tarde; como muitas sondagens tratam os indecisos como abstencionistas, isso poderá prejudicar o CDS.
A minha teoria é a seguinte:
1)O eleitorado base do CDS tende a ser de uma faixa etaria bem superior a media do pais;
2)Eleitores dessa faixa etaria, quando 5 dias antes das eleicoes dizem que votam, tendem a cumprir. Eleitores mais novos sao mais sensiveis a acontecimentos exogenos no dia das eleicoes que os possam afastar das urnas (mesmo que na sondagem tenham mostrado intencao de votar).
3) Assim, as sondagens estariam a subestimar a abstencao do eleitorado que nao vota no CDS (ou a sobreestimar a abstencao do eleitorado base do CDS)
Isto explicaria nao so a subestimacao no CDS como alguma subestimacao no PCP ou sobreestimacao no BE.
Seria interessante olhar para a previsao da abstencao por faixa etaria e confrontar os numeros com os verificados ontem.
So uma ideia...
Não há teses conspirativas, mas sim uma enorme incompetência das empresas de sondagens. Tal como eu lhe disse há uns dias, Pedro Magalhães, não vale a pena fazer sondagens assim, poque, depois, as empresas arranjam sempre desculpas para justifica a sua...incompetência. Quem vai acreditar, daqui em diante, em sondagens?
Perdi, repito, as dúvidas sobre a "qualidade" das sondagens que V. perpetra e a argumentação que utiliza para defender o indefensável.
Penso que a Universidade Católica - a minha universidade... - tem algo a dizer sobre o que se passou.
E você? Não será de abrir, com o seu "colega" Oliveira e Costa, uma tasca de caracóis na Madragoa?
Pense nisso.
Olá PM, daqui "comediante da xuxa".
É só para lhe dar os parabens pelas magníficas sondagens pré-eleitorais e "
a boca de urna". Uma felicitação especial pelas análises bastantes presunçosas e, afinal, pouco credíveis.
Como se viu, quando há uma tendência, neste caso "xuxa", a visão tolda-se-nos... Contra mim falo, mas a minha tendência não é xuxa, não, é mesmo anti-xuxa e, em especial, anti-so-cretina.
De qualquer modo, estava-se mesmo a ver que os molemgões abstencionistas, agora, iam ser os ex-votantes no pê-ésse que continuavam a jurar a "pés-juntos" que se mantinham fiéis ao so-cretino.
Cuidado com o que esta gente diz que faz. Eles não são de fiar.
Deixe lá os "erros médios" e explique mas é os "Erros crassos"
Bom dia Pedro Magalhães e obrigado por este primeiro balanço que permite pistas de análise.
Não sendo especialista e antes do tema CDS uma pergunta :
- independentemente desta análise colocar o erro relativamente ao PS na razoabilidade das previsões, a percepção que tenho é que o resultado final fica fora dos intervalos de todas as pré eleitorais e de duas à boca das urnas. Correcto ?
Quando ao CDS : o eleitor "típico" do CDS não será "apanhado" na população das amostras.
Cumprimentos e uma boa semana de trabalho e ressaca
A resposta mais óbvia não será que o CDS é o escape dos indecisos? Quando os indecisos com tendências de direita chegam à boca das urnas sem terem sido convencidas pelo PSD, votam CDS.
Fico preocupado quando TODAS as sondagens dão completamente ao lado do que depois se verifica.
Todos sabemos que há erros amostrais...mas isto são erros muito graves e com influência até nas votações finais.
Quem diz que o PS não foi prejudicado por ser colocado constantemente à frente nas sondagens? Imagino um eleitor PS a dizer "bem, acho que podemos ir de fim de semana, já ganhámo isto".
Ou mesmo um do PP que diz quase o mesmo "bem, acho que podemos ir de fim de semana, já perdemos isto".
Tem que acabar este sentido de impunidade de quem executa e publica sondagens. Responsabilidades apuradas e acima de tudo explicações dadas (sem erros médios Pedro..., vamos manter as coisas simple: estão a fazer mal as coisas...).
PS: votei PP. Não sou das "classes mais velhas" como dizia anterior comentário...
Independentemente da questão do CDS-PP que foi, obviamente, subavaliado, não sendo especialista na matéria,não me ocorre qualquer razão técnica para o justificar. Há no entanto uma questão que não pode, nem deve, ser escamoteada, A GIGANTESCA FALHA no vencedor. Eu, em relação a sondagens já "aprendi" a não ligar muito aos números, mas em relação a tendências isso já não é assim. Quero com isto dizer que embora não ligando a números, (alguns ficaram brutalmente fora do que se verificou na realidade) o que já não é aceitável é que só a markteste tenha acertado no vencedor e tenha sido desvalorizada e ridicularizada por muitos. Há uma semana atrás (quando foi conhecida a sondagem da Markteste) referi aqui no forum, que começava a assistir no terreno a uma tendência de crescimento do PSD e que era minha convicção que o PSD viria a vencer, previsão essa que era reflectida na sondagem da Markteste que acabava de ter conhecimento. O Pedro respondeu-me que à luz de uma convicção pessoal poderia aceitar essa minha ideia, e embora admitindo a possibilidade, à luz das sondagens que eram conhecidas até então (e de todas as outras que sairam posteriormente, acrescento eu) de modo algum poderia concordar comigo pois, sem ligar a números, todas as sondagens eram unânimes no facto do PS estar à frente em todas elas, e esse facto era muito sigificativo e determinante.
Acho que todas as empresas de sondagens deveriam tentar perceber o que se passou pois, também agora por convicção e depois de analisar os resultados e de ter questionado alguns amigos que não foram votar, penso que se a abstenção não tem sido a que foi, a derrota do PS seria ainda maior.
Em relação ao CDS/PP, não poderá ter algo a ver com a indisponibilidade das pessoas? Ou seja, não "aparecerão" os eleitores do PP no grupo dos NR? Por experiência "própria", uma parte substancial dos eleitores pertecem a um grupo que não tem tempo e/ou paciência para "aturar" alguém a telefonar-lhes à hora de jantar a perguntar se pode fazer umas perguntinhas...
As sondagens têm o valor que as pessoas lhes quiserem dar, o qual é elevado apenas porque raramente falham.
A este respeito tenho uma experiência elucidativa. Durante alguns anos eu e outros amigos meus (cerca de 10) fazíamos apostas em que cada um fazia uma previsão do resultado das eleições para os 5 maiores partidos, e aquele cuja soma do valor absoluto das diferenças fosse menor ganhava.
Os com menos informação limitavam-se a apostar na média das sondagens. Aqueles que eram mais informados tentavam "corrigir" as sondagens compensando aqueles que acreditavam ser os "erros sitemáticos" destas. Pôr um bocadinho mais no CDS, ou diminuir um pouco a diferença entre os dois primeiros partidos, etc...
Ao fim de 4 eleições desistimos dessas apostas. Nas 4 vezes o vencedor foi aquele único que não fez NENHUM ajuste.
É por isto, e por isto apenas, que as pessoas dão crédito às sondagens. Porque geralmente funcionam.
Agora, que em eleições com elevada abstenção nem sempre é assim, já se sabe. São a melhor estimativa, mas não são infalíveis. Daí a andar a insultar os profissionais que trabalham vai apenas uma boa dose de imbecilidade.
Pedro,
Eu sei que será possivelmente pedir demais,mas visto termos todos os resultados por distrito,seria possivel fazer uma previsão dos deputados se isto fossem resultados de legislativas?claro que nao se pode estrapolar mas penso que seria interessante para toda a gente saber em mandatos o que esta votação representaria
obrigado
Onde está escrito «profissionais que trabalham vai apenas» deveria estar «profissionais que trabalham nesta área vai apenas»
Apenas dois factos para a reflexão:
- a única sondagem que acertou no vencedor foi a que mais subestimou a votação no PP; terá acertado no PSD à custa de errar no PP?
- todas as sondagens acertaram "na mouche" quanto à votação no PSD; as que falharam no vencedor, falharam porque sobrestimaram, muito, a votação no PS; será que o PS foi particularmente atingido pela "abstenção de última hora"?
Antes de mais os parabéns pelo blogue e pelo espaço de liberdade que os comentários representam.
Condições difíceis têm e terão sempre os institutos de sondagens em ambientes de elevada abstenção.
Contudo, em média, nos últimos 50 anos em todo o mundo ocidental, as sondagens são mecanismos de previsão muito interessantes.
Parabéns ao Pedro e ao team do Cesop.
Caro Pedro Magalhães,
Penso que o André, num comentário acima, refere um ponto importante: A resiliencia à abstenção por parte dos simpatizantes do CDS-PP, o que lhe pode ter dado valores subestimados nas sondagens por haver subestimação dos valores da abstenção. Parece-me lógico.
O que não sei é se isto se deve às características etárias dos votantes no CDS, ou se por outros motivos. Ousaria acrescentar outras razões, como o voto em família/ colectivo, como motivação de voto, em analogia ao que acontece com a "ida aos ginásios", para além de motivos religiosos- ida à urna precedida ou seguida da ida à missa ao domingo.
No entanto, isto é só uma hipótese.
Outro aspecto que pode ter contribuído para o aumento nos valores do CDs, pode ter desencadeado uma reacção de última hora face aos resultados das sondagens. Esta reacção pode ter tido efeitos positivos na afluência às urnas dos eleitores do CDS, e também efeitos negativos no caso do PS.
A outra hipótese, mais utópica, será a existência de um fenómeno "Bradley" mas invertido. A existência de um preconceito ou de uma desconfiança por parte dos apoiantes do CDS em manifestar numa sondagem a sua verdadeira tendência política. Num país tendencialmente de esquerda (quase 60%), manifestar intenção de voto de direita menos central a outros que não os semelhantes, pode ter más conotações. Por outro lado, pode haver o receio ou a sensação por parte dos simpatizantes do CDS, de que ao se manifestarem "muitas" intenções de voto no CDS, haja um aumento "reactivo" dos votos de esquerda mais ou menos reaccionária em estratégia concorrencial, levando a que se mantenha o secretismo na intenção de voto.
Face a isso (Bradley foi um exemplo), as sondagens pouco podem fazer.
Quanto às intenções de voto e estimativas de abstenção, iria sugerir que se incluíssem perguntas mais concretas sobre o dia e momento de eleições (conhecimento do local de voto, hora de votação, associação do acto em si com alguma actividade, se vota sozinho ou acompanhado, etc...)
Por fim- só uma curiosidade- espantei-me com o elevado n.º de sms enviados para o 3838 (mais de um milhão). O factor novidade pode ter tido influência, e a confusão gerada com a utilização do cartão do cidadão pode ter tido a sua contribuição. Terá o recurso ao sms aumentado a afluência às urnas à última hora (o que levaria a que a abstenção tivesse sido ainda superior na falta deste serviço)? A existência de um sistema de voto electrónico, semelhante ao da Estónia, poderia ter combatido a abstenção aqui em Portugal, onde somos tão adeptos de gadgets e novas tecnologias?
Como se abordará as intenções de voto em sondagens na iminência de implementação do voto electrónico? Por chamada telefónica para telefones fixos, como na maioria das sondagens?
Pedro Magalhães,
Parabéns pelo trabalho e pela paciência.
Abusando um pouco mais dessa paciência, aqui vai uma "teoria" sobre as sondagens e o CDS-PP.
A maioria dos eleitores do CDS-PP são muito ricos ou muito pobres. Os primeiros não atendem telefones (deixam isso aos empregados que têm instruções para não passar esse tipo de chamadas aos patrões) e os segundos ou não têm telefone, ou estão a trabalhar quando as empresas telefonam, ou já estão a dormir porque têm que se levantar cedo para trabalhar.
Já nas sondagens à boca das urnas a percentagem de votantes é mais próxima da realidade uma vez que uns e outros vão votar e podem ser instados pessoalmente a colaborar. Nestes casos, os primeiros não estão acompanhados de empregados encarregados de "barrar" o acesso e, como bem educados que são, não têm lata para negar e os segundos agradecem a distinção que, uma vez na vida, lhes coube.
haverá algum trabalho, que seja significante para o nosso caso, sobre a indução de voto através de sondagens?
a fetichização do número (do matematizável) é um vácuo. Não nasce aqui, nos sondagistas, mas vs são seus reprodutores. E a parafernália "técnica" que agitam é legitimadora.
Mais do que os políticos, muito mais do que os orgãos de comunicação (que não o farão), seria altura de os sondagistas se interrogarem sobre os fundamentos e efeitos da vossa prática.
O que se passou não foi falhanço, foi execrável - de manipulação corporativa.
Inenarrável uma sondagem publicada na SIC, repetindo as mesmas atoardas, publicada em cima de uma eleição - não sei qual a empresa que a fez, não a Católica. Mas é a prática corporativa que baixa ao nível mínimo. Uma vergonha seria. Se náo fosse, ontem, ridícula.
Agora partirão para discussões técnicas [o mal técnico estava identificado há quatro anos, náo é assim]. Viva a tecnocracia. E a falta de democraticidade.
Enquanto profissionais cidadãos é inaceitável. Uma vergonha.
Espero, sinceramente, que à Católica aconteça o mesmo que há alguns anos quando PM ascendeu a sondagista da RTP depois de um falhanço da empresa anterior.
Porque a quem não interessa os efeitos globais só os individuais (empresariais) poderá afectar.
Primeiro que tudo, respeito muito o seu trabalho (particularmente o que faz neste blog), e não concordo com as teorias conspirativas que por aí se vêm.
no entanto, no caso concreto, acho que o CDS merece de facto um pedido de desculpas da sua parte. Repare, os resultados provaram que eles tinham razão (pelo menos nestas), e sem dúvida que ir no fundo das sondagens não dá ânimo a ninguém.
A crítica que lhe faço tem a ver com a desvalorização que faz do "medo de afirmar votar PP" usando que na boca das urnas se prova essa ideia infundada. Não acredito que um especialista, como é o seu caso, não compreenda a enorme diferença entre uma sondagem em que as pessoas são muitas vezes contactadas por telefone, onde deixam uma série de dados pessoais, onde deixam, no fundo, quem é, quando, numa sondagem à boca das urnas o papel vai directo para a urna (ou sou eu que estou enganado?).
Por alguma razão o voto é secreto: considera-se que é importante isso. Numa sondagem não é! E tinha a ideia que na boca das urnas também era secreto.
Por último, em relação a alguns comentários... não entendo mesmo: os eleitores PP são fieis? O partido que foi do taxi? numa eleição em que o PSD não precisava dos seus votos?
Acho que existe por aí uma tentativa de simplificar e desvalorizar demasiado o voto do PP (missa? famílias? velhinhos? depois admirem-se de serem surpreendidos por sondagens.
Nunca votei PP nem conto alguma vez votar.
Em relação ao último comentário, só uma nota para dizer que duas das sondagens pré-eleitorais foram realizadas com simulação de voto em urna.
Caro RA
Votei CDS. Não tenho empregada, ninguém barra a chamada. Não me deito cedo, mas o meu telefone fixo é da CLIX/SONAE e não consta da lista da PT. Sempre me podiam ligar para o telemóvel, embora eu seja daqueles que não atenda nºs desconhecidos.
Fica ainda sem explicação o facto do voto de simulação em urna tb ter errado.
LM
Seria útil para além do desvio médio absoluto que calculou, calcular também o "mean square error", i.e., a raiz quadrada do desvio médio quadrático. Bem sei que o segundo é sensível a outliers mas se tiver o segunite exemplo:
Sondagem 1 (Erros) A: 1 B: 1 C:1
Sondagem 2 (Erros) A: 3 B: 0 C:0
O desvio médio absoluto é em ambos os casos 1 mas a raiz quadrada do MSE é sqrt(1+1+1)=sqrt(3)=1.73 e no segundo caso sqrt(3^2+0^2+0^2)=3.
Então o que concluir, qual o melhor? Elas dizem coisas diferentes, mas o segundo método penaliza mais maiores afastamentos.
Tendo em conta a sua tabela a raiz quadrada do MSE foi:
CESOP: 3.9
Eurosondagem: 3.6
Inter: 1.2
Finalmente, mesmo tendo em conta a medida que você calcula, como é óbvio a soma dos erros tem de ser zero (incluindo os OBN e erros nestes temos):
Raiz quadrada da MSE:
CESOP: 5.2
Eurosondagem: 5.3
Inter: 1.5
Ou seja, dependendo do método a CESOP e a Eurosondagem estão mais ou menos iguais, já a Inter ganha sempre (quem compra as sondagens deveria analisar isto).
Para um leigo, parece que o ponto está na incapacidade das sondagens para "descobrir" os eleitores do CDS. Será que são sobretudo octogenários a que as formas habituais de contacto das empresas de sondagens não conseguem chegar (andam menos na rua, atendem menos o telefone, etc.). Pode parecer disparatado, mas o «mistério» da repetida subestimação do CDS, em todas as sondagens, tem de ter uma explicação.
Antes de mais cumprimentar o Pedro Magalhães pelo excelente trabalho de divulgação que faz aqui no blogue. Sinceramente não compreendo tanta inquietação do CDS com o CESOP, quando este é de longe o Instituto mais transparente na divulgação da metodologia usada e dos resultados de cada sondagem que realiza.
E porquê tanto alarido à volta dos resultados do CDS, quando o erro mais grosseiro foi de longe o cometido nos resultados do PS? Este sim é o facto notável da noite de ontem. Todos os institutos sobrestimaram e muito a votação do PS (todos por mais de 7 pontos percentuais! à excepção da Marktest), e mesmo na sondagem à boca das urnas (ondes todos acertaram em cheio no CDS) só a Intercampus acertou no PS...
Sendo assim, não percebo porque é que o CDS se sente tão ameaçado a ponto de exigir um pedido de desculpas!... Houve falhas significativas nas sondagens, e deve-se naturalmente tentar acertar a metodologia para melhor estimar os resultados nestas eleições com elevada abstenção, mas se alguém merece um "pedido de desculpas" são todos os partidos de oposição!... (incluindo os pequenos, e os votos em branco)
Aproveito para perguntar se parte da explicação não estará precisamente no brutal crescimento do número de votos brancos (julgo que o número de 165.000 votos brancos é um valor nunca visto, nem de perto, em todas as eleições anteriores), e no crescimento de quase todos os chamados "outros" partidos (com destaque evidente para o MEP, que facilmente elegeria um deputado por Lisboa se se tratassem de eleições legislativas)...
Não será altura de os institutos de sondagens terem mais atenção a esta componente sempre tratada como residual? (De todas as sondagens pré-eleitorais que vi só o CESOP teve sempre o cuidado de escrever na ficha técnica a intenção de voto de cada um dos pequenos partidos... parabéns por tb nesse "pormenor" se distinguirem dos restantes Institutos).
Caro Pedro Magalhães,
Uma questão somente. Existe alguma diferença significativa nas características demográfica dos eleitores do CDS entrevistados à boca das urnas (que se aproximou dos resultados finais) e dos entrevistados em sondagens anteriores?
De vez em quando toca o meu telefone privado e é para uma responder a uma sondagem. Não sei como obtiveram o número, mas isso é o menos. Respondo sempre. Numa das últimas vezes, responder, a final, que não se considerava o governo mau e que não votaria PS requeria um considerável esforço inteelctual e fez-me lembrar Sir Humphrey no Yes, Minister a explicar a coisa. Disse à menina - que já teria os seus 30s e com voz civilizada que as perguntas eram complexas, no sentido de pressupor respostas num ou noutro sentido a questões prévias não inquiridas. Ela disse baixinho que também achava, que era assim que eles queriam. E eu fiquei a saber, experiência de saber feito, a fraude que aquela sondagem era.
Ó Pedro,
Quando tiver dificuldades em encontrar eleitores do CDS para as suas sondagens, não tenha problemas, telefone-me.
Apesar dos meus 98 anos de idade e das horas que passo na Igreja com o blackberry desligado, basta marcar hora. Eu deixo instruções à criadagem e às minhas personal assistants para o atenderem.
Com quem é deixo o número?
Sobre o RMSE como medida de precisão das sondagens:
Perfeitamente legítimo, claro. Mas creio que o problema é que, ao dar mais peso a erros maiores, tende também a dar mais peso a erros cometidos na estimação de proporções mais próximas dos 50%, onde maiores erros são, dado o erro amostral, mais "admissíveis". Pelo contrário, desvaloriza comparativamente erros menores, que tendem a ocorrer na estimação de proporções menores (ou muito grandes, mas neste caso não se aplica), mas onde pequenos erros podem, de facto, ser menos "admissíveis". Por exemplo: se uma sondagem errar por 9 pontos na estimação de uma proporção real de 30 e por 5 pontos na estimação de uma proporção real de 10, o RSME aqui vai ser menor que uma sondagem que erra, respectivamente, por 10 e 4 pontos a estimação das mesmas proporções. Mas o erro acima parece-me, na verdade, mais grave que o erro abaixo. O Erro Absoluto Médio não resolve tudo, mas é menos mau deste ponto de vista. Em geral, que eu saiba, até por uma variedade de outras razões, o RMSE é considerada uma das piores medidas de precisão de uma previsão (ver aqui, por exemplo).
O erro absoluto médio também tem problemas. Não resolve completamente o problema anterior, como vimos, e quantas mais estimativas toma em conta, menor será. Isso faz com que possa ser problemático comparar entre eleições diferentes. A comparação entre 2004 e 2009, por exemplo, sugere que, se o MAE foi pior em 2009 do que 2004, temos provavelmente de considerar 2009 considerar ainda pior deste ponto de vista. Mas comparando sondagens com o mesmo número de estimativas, não é tão problemático.
Há outros métodos (ver aqui, por exemplo), mas acho que num contexto destes, este grau de complexidade seria indesejável e desnecessário. Em geral, o erro 3de Mosteller está mais ou menos estabelecido como forma de medir a precisão das sondagens em sistemas multipartidários.
Hoje, no meu blogue http://www.enxuto.org/ apresento uma teoria sobre a sistemática subestimação dos partidos mais à direita
NADA
Estou a fazer os cálculos de cabeça, portanto desculpem qualquer coisINHA.
Devem reparar que aparece sempre uns 95% (ou muito raramente 99%) nas sondagens a que ninguém dá nenhuma atenção (isto tem a ver com 2 ou 3 desvios padrão, mas nunca ninguém diz isso). o que quer dizer (simplificando muito) que as sondagens só estão certas 95% das vezes - se as hipóteses estiverem correctas o que é outra coisa.
Ou seja eu estou a espera que as coisas dêem broca 5 em cada 100 vezes o que não deve andar muito longe da verdade.
Mas porque não usam 99%, acrescentando mais um desvio padrão.
Porque estes valores (tal como o uso da distribuição em sino) são completamente arbitrárias.
Se são arbitrárias porque são usadas?
Porque se alguém usar outros valores, ou obtém resultados de rir ou vai à falência porque gasta mais dinheiro que a concorrência.
Com o tempo aqueles que fazem sondagens habituaram-se a considerar que o 95% aparecia por magia, quando é completamente arbitrário.
José Simões
Caríssimo,
Excelente análise e interpretação.
Continue com o bom trabalho.
Os profissionais agradecem,
Ab.
AA
Este último anónimo deve estar a referir-se aos "profissionais" da trafulhice.
Caro Pedro Magalhães, uma particularidade que não foi considerada é a percentagem anormalmente elevada dos votos em branco, em conjugação com a grande sobrestimação do PS, não sei se não será legitimo atribuir grande parte do fenómeno a eleitores simpatizantes do PS que quiseram censurar o governo sem votar em outros partidos. Mas mesmo não sendo essa a razão, os votos em branco podem explicar parte do enviesamento das sondagens.
PODERÁ COLOCAR-SE O PROBLEMA, DE, SOCIOLÓGICAMENTE, HAVER UMA CERTA DIFICULDADE EM OS ELEITORES SE ASSUMIREM CLARAMENTE DE DIREITA, MUITAS VEZES ADMIRANDO O DISCURSO E O TRABALHO DE NUNO MELO.
Há o estigma de ser de direita. Como anónimo pode-se dizer a verdade, mas identificável, só com os amigos de confiança.
O telefone é uma fonte de identificação e quem garante que do outro lado está, de facto, uma empresa de sondagens?
Uma sondagem presencial, anónima, não levanta problemas de qualquer espécie.
Há medo e recusar essa evidência é tirar conclusões com premissas erradas: que as pessoas vão dizer a verdade.
Isso conduziu a que o PS obtivesse grandes scores. São muitos os que não se atrevem a dizer que são contra, porque até o emprego pode correr perigo. Quando o PM se refere com desprezo a certos partidos, há que recear os chefezinhos. Efeitos da claustrofobia democrática.
#todas as sondagens acertaram "na mouche" quanto à votação no PSD; as que falharam no vencedor, falharam porque sobrestimaram, muito, a votação no PS; será que o PS foi particularmente atingido pela "abstenção de última hora"?"
Não tenho dúvidas de que a abstenção afectou essencialmente o PS. Não se esqueçam do factor FériAS.
Caro Pedro Magalhães,
Quanto ao erro no que diz respeito ao CDS, concordo com a teoria segundo a qual o CDS é menos afectado pela abstenção. Duvido que a causa disto seja a idade ou a ida à missa. Atrevo-me a dizer que isso está ligado à concepção que os eleitores do CDS têm acerca do direito de voto. Conheço alguns, e eles olham para esse direito também como um "dever cívico", o que aliás eu admiro. Ou seja, quem diz que vai votar CDS, vai mesmo votar; não vai ficar em casa nem para a praia.
A explicação dos telefones e do facto de estarem a trabalhar não se aplica às sondagens do CESOP, uma vez que são feitas presencialmente e ao fim-de-semana.
Quanto às soluções para o problema, não percebo nada de estatística. Mas, do conhecimento que tenho, talvez falte, nos inquéritos, uma pergunta feita com o objectivo de avaliar a motivação do inquirido para ir efectivamente votar no dia das eleições. Mais do que a simples pergunta "Vai votar no dia tal?". Como formulá-la, também não sei...
Enviar um comentário