Relatório sobre sondagens e inquéritos de opinião

Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.

Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.

Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.

1. Constatações sobre divulgação/depósito das sondagens e seus resultados:
- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;
- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;
- Nem todos os questionários utilizados são disponibilizados - p.17;
- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;
- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;
- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;
- Apresentação frequente das sondagens com resultados até às décimas - p.41.


2. Constatações sobre as próprias sondagens e seus resultados:
- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;
- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;
- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;
- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;
- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;
- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;
- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.
- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;
- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;
- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;
- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;
- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;
- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;
- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.


3. Recomendações:
- É secundária a quantificação exacta dos membros do universo - p.14;
- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;
- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;
- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;
- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;
- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;
- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;
- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;
- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;
- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;
- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;
- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;
- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.

Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.

Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.