Gráfico actualizado

Presumindo que amostra da última Intercampus é inteiramente nova:

REACTION

REACTION significa "Retrieval, Extraction and Aggregation Computing Technology for Integrating and Organizing News", e é um projecto coordenado por Mário Silva que envolve equipas da Faculdade de Ciências da Universidade de Lisboa, da Faculdade de Engenharia do Porto, da Universidade do Texas Austin e da Universidade Nova de Lisboa (o Centro de Investigação Media e Jornalismo onde está o António Granado), assim como equipas do SAPO e do Público. Um dos objectivos do REACTION consiste em detectar e analisar conteúdos online com referências a instituições, pessoas e eventos, fazendo-o de forma automatizada.

Imaginem que queríamos saber quantas vezes é que, na twittosfera, eram mencionados os diferentes líderes partidários. E que queríamos, na base dos textos, inferir automaticamente se o teor dos comentários sobre esses líderes era positivo ou negativo? Se pudéssemos fazer isto, ficávamos com uma espécie de barómetro da opinião tal como veiculada na twittosfera. E quem diz isto diz outros conteúdos online, tal como blogues, notícias ou opinião online,  comentários a uns e outros, etc. Ora bem, o REACTION deu um primeiro passo neste sentido. Desenvolveram um crawler que recolhe os tweets de 25.000 utilizadores portugueses do Twitter e analisa:

1. Menções aos líderes dos cinco principais partidos. Para isso, foi preciso desenvolver recursos que permitam detectar que "José Sócrates" é a mesma coisa que "Eng. Pinto de Sousa" e que o "Jerónimo", neste caso, não é um índio apache. Testes confrontando análise manual com os resultados dos algoritmos mostram que a capacidade de identificação correcta já está bem acima dos 90%.

2. Análise da "polaridade" das mensagens, distinguindo aquelas que emitem juízos positivos, negativos e meramente "descritivos" (ou neutros). Isto é mais díficil, e exige a automatização de uma análise linguística, nomeadamente um léxico de adjectivos e sua associação a um determinado alvo.

Os primeiros resultados começaram a estar disponíveis a partir do passado dia 29 de Abril, medindo o número de menções na twittosfera a cada um dos líderes partidários e a sua polaridade (positivo, neutro ou negativo) por dia (entre as 19h do dia 18 e as 19h do dia 29). Deste então, o sistema tem gerado resultados diários.

O que é então o gráfico no post abaixo?

As colunas da esquerda mostram o número absoluto de tweets mencionando Jerónimo de Sousa e Paulo Portas e sua polaridade entre as 19h do dia 6 de Maio (o dia do debate Jerónimo-Portas) e as 19h dos dia 7, apanhando portanto o debate e o seu rescaldo. Várias precauções:

1. Os tweets não eram necessariamente apenas sobre o debate.
2. A análise de polaridade é muito conservadora, ou seja, haverá certamente tweets na categoria neutra que emitem uma avaliação, mas que o sistema está a classificar como neutros para não cometer falsas identificações.
3. Quando começarmos a olhar para isto dia-a-dia, vamos detectar uma volatilidade brutal, marcada por eventos, memes  que circulam na net, etc.


Resultados: primeiro, Portas foi muito mais mencionado na twittosfera do que Jerónimo. Logo, naturalmente, recebe, em termos absolutos, muitos mais comentários quer negativos quer positivos. O saldo para ambos os políticos é negativo, ou seja, é mais frequente serem criticados que elogiados, padrão habitual nos estudos congéneres. Mas na distribuição de comentários - colunas à direita - Portas recebe, proporcionalmente, mais comentários positivos que Jerónimo e o saldo é-lhe mais favorável.

O que significa tudo isto? Bem, não sei. Vamos ver. Como é óbvio, a ideia de que os utilizadores na twittosfera são representativos da população eleitoral é absurda. Mas há vários estudos que sugerem que o conteúdo da twittosfera pode ser um bom preditor de fenómenos políticos relevantes. Só dois exemplos. Este mostra que a distribuição de menções aos partidos na Alemanha (partidos, atenção, não líderes) se aproximou bastante da distribuição final dos votos, para além de revelar que as associações conjuntas de partidos reflectem proximidades políticas e ideológicas reais e que os sentimentos expressos em relação aos líderes reflectem padrões intuitivamente previsíveis. E este mostra correlações interessantes entre indicadores do mesmo género e as sondagens políticas e os índices de confiança do consumidor. Temos um problema de escala, claro, e a twittosfera portuguesa é muito menos "politizada" do que poderíamos pensar (apenas cerca de 1% do total dos tweets menciona líderes políticos). Mas vamos ver onde isto nos leva. Logo vamos olhar para um gráfico semelhante ao anterior, mas desta vez, claro, sobre Portas e Sócrates.

P.S.- Daqui a dias, estará disponível um site no SAPO com resultados destas análises.

O que será isto?

Logo explico.

Intercampus, 4-8 Maio, N=1020, Tel.

Bem, agora fico com uma dúvida. O trabalho de campo da anterior sondagem da Intercampus ocorreu entre os dias 2 e 5 de Maio. Esta, a divulgada hoje, entre os dias 4 e 8 e Maio. Quererá isto dizer que parte da amostra da anterior está a ser usada na de hoje? Não há nada de errado com isso: seria uma tracking poll. Mas se é assim, importa perceber que, em cada sondagem, só parte dos resultados são novos. Enfim, talvez seja lapso. Mas a proximidade muito grande com os resultados da anterior sugerem a possibilidade de que seja mesmo uma tracking. Assim que souber digo.

PSD: 36,2% (-0,8)
PS: 35,1% (+0,3)
CDS-PP: 10,9% (+0,4)
CDU: 7,7% (-0,2)
BE: 6,5% (-0,5)

House effects

O modelo que estima os resultados por mês onde o trabalho de campo foi terminado controlando os efeitos do facto de as sondagens terem sido feitas por empresas diferentes sugere que o PSD voltou a descer de Abril para Maio (2 pontos) mas que o PS deixou de subir. Por outras palavras, o apertar da diferença das sondagens realizadas de Abril para Maio dá-se à custa de uma descida do PSD, não de uma subida do PS (ao contrário do que sucedeu de Março para Abril, em que PS subiu e PSD desceu). Os valores estimados não são importantes, porque variam de acordo com a empresa que seja tomada como categoria de referência. Só as tendências são relevantes nesta análise.

Já agora, quem é que subiu das sondagens de Abril para as sondagens de Maio? O CDS-PP, claro, 1,8 pontos.

Não há três sem quatro

Intercampus, 2-5 Maio, N=1009, Telefónica
PSD: 37,0% (-1,7)
PS: 34,8% (+1,7)
CDS-PP: 10,5% (+1,1)
CDU: 7,9% (-0,2)
BE: 7,0% (-0,6)

Aqui. Mais do mesmo.

Deputados

Estou curioso para saber o que estimam algumas das pessoas que aqui fazem comentários e que têm os seus  próprios modelos, mas o meu proportional swing põe o PSD+CDS com maioria absoluta em duas das sondagens anteriores, e quase quase noutra. De resto, o cenário de PS com mais votos e PSD com mais deputados, já aqui levantado várias vezes por comentadores, começa a sair do reino da completa implausibilidade. Isto, mais uma confusão nas mesas de voto do género da que tivemos nas presidenciais, era mesmo a única coisa que nos faltava para irmos parar durante uns tempos às primeiras páginas da imprensa mundial.

Aqui vamos nós

Aí vem o chato, ou seja, eu. Não sei, na base disto, quantas pessoas dizem na sondagem da Eurosondagem que não tencionam votar. Mas vamos presumir - é uma possibilidade - que havia uma pergunta-filtro que deixava fora da amostra os que não tencionavam votar e que todas as percentagens relevantes se calculam em relação ao total de 2048. Então temos que 21% (430 pessoas) dizem que não sabem ou não respondem à questão de intenção de voto. Sobram 1618. É esta a amostra na base da qual as percentagens de intenções de voto válidas são calculadas. Na Católica, a amostra relevante é de 1033 pessoas.

E agora a pergunta: tendo em conta a dimensão das amostras, as diferenças entre os diferentes resultados obtidos pelas duas sondagens é estatisticamente significativa? A resposta é NÃO.

Margens de erro das diferenças entre proporções para as duas amostras independentes CESOP e Eurosondagem:
PSD: 3,7
PS: 3,7
CDS-PP: 2,4
CDU: 2,2
BE: 1,8

Em todos os casos, estas margens de erro são superior à diferenças entre as duas sondagens para os cinco partidos.

Já agora: o que passa em relação à vantagem PS sobre PSD ou PSD sobre PS? É simples: as margens de erros das diferenças, nos dois casos, são também superiores às diferenças detectadas na amostra (2 pontos a favor do PS na Católica, 3,3 pontos a favor do PSD na Eurosondagem).

Tudo o que está antes aplica-se também à Aximage, especialmente tendo em conta que estamos a falar de uma amostra bem menor. Em resumo: as três sondagens de hoje são compatíveis com a ideia de que estão a captar uma mesma realidade. Eu sei que o que interessa é o "quem vai à frente na sondagem" e etc. Mas as coisas são o que são.

Já agora, vantagens significativas:

1. PSD sobre CDS-PP, naturalmente, em todas.

2. CDS-PP sobre CDU, na Eurosondagem.

3. CDU sobre BE, na Católica.

Tudo isto explicado aqui.

Gráfico actualizado

Óbvio, mas importante

As três sondagens divulgadas hoje têm por base trabalho de campo que terminou antes da divulgação do pacote CE/BCE/FMI. Não esquecer.

Três sondagens três

1. Aximage, 29 Abril - 2 Maio, N=600, Tel.

Antes de distribuir indecisos:
PSD: 31,5%
PS: 28,3%
CDS-PP: 11,2%
CDU: 9,3%
BE: 7,7%
OBN: 4,9%
Indecisos: 7,1%

Resultados comparáveis com resultados eleitorais (e comparação com resultado anterior da Aximage):
PSD: 33,9% (-2,9)
PS: 30,5% (+0,4)
CDS-PP: 12,1% (+0,7)
CDU: 10,0% (+1,0)
BE: 8,3% (+1,4)
OBN: 5,3% (-0,5)

2. CESOP/Católica, 30 Abril - 1 Maio, N=1370, Presencial
PS: 36% (+3)
PSD: 34% (-5)
CDS-PP: 10% (+3)
CDU: 9% (+1)
BE: 5% (-1)
OBN: 6% (-1)

3. Eurosondagem, 28 Abril - 3 Maio, N=2048, Presencial
PSD: 35,8% (-0,6)
PS: 32,5% (-0,2)
CDS-PP: 11,1% (-0,2)
CDU: 7,7% (-0,1)
BE: 6,6% (-0,3)
OBN: 6,3% (+1,3)

Pool

Está aqui um ficheiro com todas as apostas registadas (são 101, incluindo a minha). Verifiquem, para o caso de haver lapsos. Não considerei apostas que somassem mais de 100% ou que apostassem em menos de 5 partidos. Arrendondei tudo a números inteiros.

Média e desvio-padrão:
PSD: 34,1 (2,6)
PS: 32,2 (2,8)
CDS-PP: 11,9 (2,1)
CDU: 8,4 (1,0)
BE: 7,1 (1,3)

Estava curioso para saber se haveria diferenças significativas entre estimativas antes e depois do anúncio do pacote EU/FMI na 3ª feira.  A resposta é não, a não ser num caso: o PSD. Pré-pacote: 34,5. Pós-pacote: 33,4. A diferença é estatisticamente significativa com p<0,07. Restantes médias pré- e pós-pacote:

PS: 32,1 / 32,4
CDS-PP: 11,7 /12,2
CDU: 8,3 / 8,6
BE: 7,0 / 7,3

Um livro

Não é o livro que ando a querer escrever há uns anos sobre sondagens, eleições e opinião pública. Esse seria um livro mais técnico, destinado a uma audiência especializada. Mas ainda não tive tempo para esse. Tenho-o antes "escrito" a pouco e pouco, em fragmentos, com a ajuda de outras pessoas, em artigos com este, este ou este. Um dia aparecerá.

Este, pelo contrário, é um livro breve (100 páginas), pouco técnico (na medida do possível) e destinado a uma audiência interessada mas não especializada. Discute coisas como o conceito de erro amostral, as outras fontes de erro em sondagens, as implicações de se colocarem perguntas desta ou daquela forma, e os usos das sondagens e dos seus resultados. E fá-lo recorrendo a exemplos simples e concretos, retirados de sondagens feitas em Portugal e, noutros casos, nos Estados Unidos. Assim, em certo sentido, o livro é uma extensão deste blogue, nos temas e até no estilo. Esteve, de resto, para se chamar Margens de Erro, e só não se chama assim porque, obviamente, a maior parte das pessoas não teria a mínima ideia do que isso quereria dizer.

Há dois tipos de atitude que encontramos frequentemente em relação às sondagens em Portugal. A primeira é a aceitação crítica dos números como se eles reflectissem uma qualquer "verdade" absoluta e inalterável. Mas basta perceber o que é uma sondagem, olhar para os detalhes sobre como são feitas e as limitações que eles implicam e ter alguma noção do que significa "opinião pública" para perceber como essa aceitação acrítica é deslocada. A segunda é a rejeição total das sondagens, frequentemente acompanhada de acusações muito graves mas nunca fundamentadas de adulteração e manipulação dos resultados. Mas basta olhar para a forma como essas acusações são feitas e olhar para os resultados das sondagens com mínima sofisticação para perceber que o objectivo dessas acusações é, aí sim, manipular e condicionar os eleitores na sua leitura dos dados disponíveis, por muito frágeis e precários que esses dados possam ser. Uma e outra atitudes, um e outro tipos de discurso, são muito nocivos para a qualidade do debate público sobre as sondagens, mas só acabam por ser eficazes se contarem com o desconhecimento dos cidadãos. Logo, a motivação básica para escrever o livro foi simples, e é a mesma que me leva a manter este blogue: contribuir, modestamente, para diminuir esse desconhecimento e, logo, contrariar esse tipo de atitudes e discursos.

O livro vai ser lançado no próximo dia 18, 4ª feira, às 17h,  no Instituto de Ciências Sociais (a final da Liga Europa é só às 19.30h :-)). Estão todos convidados. Dia 19 estará nas livrarias e no dia 26 de Maio será vendido com a revista Visão, à qual desde já agradeço. E aproveito também para repetir um outro agradecimento que já faço no livro: a todos aqueles que têm comentado, directamente ou por e-mail, as coisas que foram sendo escritas neste blogue. Aprendi muito com esses comentários, críticos ou não.

P.S. - Sei que é difícil, mas procurem resistir à tentação de fazer comentários sobre a cor da capa.

Sobre as eleições de 5 de Junho, em inglês

A minha interpretação dos acontecimentos - so far - no The Monkey Cage.

Ainda mais pool

É interessante como à medida que aumentam as apostas os valores médios praticamente não mexem. Neste momento estamos com 71 apostas e com os seguintes resultados (média e desvio-padrão):

PSD: 34,3 (2,5)

PS: 32,2 (2,7)

CDS-PP: 11,8 (2,2)

CDU: 8,3 (1,0)

BE:7,0 (1,3)

Depois de dia 5 vamos tentar olhar para isto de uma maneira ligeiramente mais sofisticada. E estou para ver se as que forem enviadas depois do pacote são significativamente diferentes...

O referendo no Reino Unido

Na próxima 5ª feira, os britânicos vão votar num referendo sobre a adopção do chamado "voto alternativo", em substituição do sistema maioritário uninominal agora existente. A pergunta:

"At present, the UK uses the 'first past the post' system to elect MPs to the House of Commons. Should the 'alternative vote' system be used instead?"

O "voto alternativo" é um sistema através do qual os eleitores, em vez de escolherem apenas um candidato no seu voto, podem exprimir uma ordenação de preferências. Isto está longe da representação proporcional que os Liberais Democratas tinham prometido, mas foi o compromisso possível. O contexto do referendo está muito bem explicado nesta entrada na Wikipedia, incluindo as posições dos diferentes partidos. Ver também este artigo.

O que dizem as sondagens? Basicamente, que o Não deverá ganhar, especialmente as sondagens conduzidas desde meados de Abril. Mas é interessante a inconsistência entre as diferentes estimativas, porventura resultado do facto de o referendo ir ser caracterizado por uma enorme abstenção.

Mais pool

Enquanto não há mais sondagens, resta-me este entretenimento. Alguns problemas:

1. Casas decimais: será feito arredondamento.
2. Apostas incompletas: não serão consideradas.
3. Apostas que somam mais de 100%: não serão consideradas.
4. Apostas que somam 100% sem OBN: não estão a perceber a coisa.

Aqueles que estão nas condições anteriores podem rever aposta. Digam se assim quiserem. Seja como for, dia 5 torno acessível uma folha de Excel com todas as apostas para que possam confirmar se as registei correctamente.

Resultados até ao momento com 47 apostas, média (e desvio-padrão):

PSD: 34,4 (2,3)

PS: 32,2 (2,8)

CDS-PP: 11,5 (2,0)

CDU: 8,4 (0,9)

BE: 7,1 (1,3)

Em relação ao post anterior, o número de submissões quase duplicou, mas quase nada mudou em relação às médias.

A pool até ao momento

Um total de 26 submissões. Um participante enviou duas, pelo que só considerei a primeira. E outro enviou estimativas que somam 110%, pelo que não as considerei.

Média (e desvio-padrão):
PSD: 34,4 (1,7)
PS: 32,0 (2,4)
CDS-PP: 11,4 (1,6)
CDU: 8,5 (0,9)
BE: 7,0 (0,8)

PSD à frente de PS: 17 em 26
CDU à frente de CDS: 0 em 26
BE à frente de CDU: 0 em 26

Pool de apostas eleitorais e um prémio

Assim de forma meio espontânea, iniciou-se nos comentários ao post abaixo uma pool de previsões eleitorais. Até eu, agora que já não tenho responsabilidades enquanto produtor de sondagens, me arrisquei, e sem econometria desta vez (ou melhor, só com um bocadinho pequenino, depois explico).  Já agora, porque não institucionalizar isto mais um pouco? Deixem as vossas apostas nos comentários a este post.

Regras:
1. Querem-se estimativas, sem casas decimais, para resultados de PSD, PS, CDS-PP, CDU e BE. A soma destas estimativas com os resultados dos restantes partidos, brancos e nulos será de 100%.
2. Os resultados serão comparados com os provisórios que irão estar disponíveis no site congénere deste às 10 horas da manhã no dia 6 de Junho. Bem sei que há Europa e fora da Europa, e boicotes e resultados definitivos e tal, mas é preciso apurar um vencedor no dia seguinte ou isto não tem piada nenhuma.
3. Será enviado um prémio ao leitor cuja previsão tenha um menor desvio absoluto médio em relação aos resultados dos cinco partidos. Esse prémio é um livro intitulado "Sondagens, eleições e opinião pública", a ser editado nesta colecção durante o mês de Maio e da autoria de alguém que vocês já podem imaginar quem será. Capa dura e autografado. O correio vai ser mais caro que o livro mas enfim. Se esse leitor quiser permanecer anónimo não lhe posso enviar o prémio, mas envio ao 2º mais próximo, etc...e por aí fora.
4. No caso de empates no 1º lugar, enviarei exemplares a todos os 1ºs classificados.
5. Se se constatar que, após publicação de resultados definitivos em D.R., havia outro concorrente que afinal ficou mais perto, recebe um livro também. Vão é ter de me avisar que eu não vou apurar isso. 


ADENDA: Data limite para submissão de previsões: 5 de Maio de 2011, 20h.

Gráfico actualizado

Já conta com as últimas sondagens da Marktest e da Eurosondagem. Se tomarmos em conta os house effects, as mudanças de Março para Abril:
PSD: -3,8
PS: +4,2
CDS-PP: estável
CDU: estável
BE: -0,8