O relatório sobre as sondagens, 2ª parte (longo)

O relatório feito por uma comissão nomeada pela ERC para fazer um "diagnóstico sobre a situação das sondagens" foi divulgado há duas semanas. Num post anterior, disponibilizei esse relatório e um resumo das suas principais conclusões.

A primeira coisa que queria notar é o silêncio sepulcral com que as conclusões desse relatório foram recebidas, com excepção de meia-dúzia de notícias divulgadas no próprio dia. Esse silêncio era expectável, mas não por isso menos instrutivo. Nos últimos meses, foram muitas as dezenas de comentadores, políticos e bloggers, dos mais inteligentes e informados até aos semi-analfabetos, que acharam que tinham coisas interessantes e importantes para dizer sobre as sondagens, os institutos que as fazem, os seus resultados, os seus métodos e as suas consequências. Passadas as eleições, e havendo informação produzida por uma fonte independente quer dos partidos quer dos institutos de sondagens, verifica-se que quase ninguém tem nada para dizer sobre o assunto. Só se podem tirar duas conclusões. Ou todas estas pessoas foram atingidas por uma súbita falta de tempo e disponibilidade para pensar no assunto, ou então a esmagadora maioria desses comentários - com raríssimas excepções - não foram feitos por pessoas interessadas nas sondagens, na sua qualidade ou nas suas consequências. Foram feitos com motivações estrita, única e exclusivamente políticas. Não é que não se soubesse, mas é bom dispormos agora da prova categórica.

Dito isto, passemos ao relatório. Neste post, dividi as conclusões em três tipos: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações. Quanto às primeiras, não tenho comentários para fazer. As coisas são o que são, e só resta esperar que todos se sintam alertados para algumas omissões que continuam a existir nas fichas técnicas depositadas na ERC e que contribuam para as corrigir. O mesmo não sucede quer em relação à análise dos resultados das sondagens propriamente ditos quer em relação às recomendações contidas no relatório.

Sobre as recomendações, subscrevo facilmente muitas das que são feitas: a indicação clara dos procedimentos de amostragem; a inclusão do questionário completo no depósito feito na ERC; a apresentação dos resultados em números inteiros; a indicação de todas as variáveis usadas para a ponderação pós-amostral; ou a elaboração de manuais e cursos para jornalistas. O tema do abandono das casas decimais nos resultados foi aparentemente controverso na conferência onde o relatório foi apresentado, mas Portugal deve ser dos poucos países onde isso sucede:

"The field is not an exact science, nor can it measure minute degrees of difference. Readers should be skeptical of studies that report poll results in terms as exact as two decimal places (7.03 percent, for example). Even one decimal place is usually misleading."

"The figures for the actual election result are given to the nearest decimal place, since they are real figures. The polls results, on the other hand, are expressed only as whole percentages. This is because they are estimates, subject to sampling error (...), and while it is possible to express the poll results to any number of decimal places, it is implying a spurious level of accuracy to quote a figure of 34.3%, when it is really 34.3% plus or minus 3%."

"Don't use decimals. In reporting polling numbers, you should always use whole percentages, never results with decimal points. Since these results are always subject to error, using decimals implies a precision that does not exist."

Dito isto, há recomendações com as quais não concordo:

- Em primeiro lugar, a recomendação de que, em amostras por quotas, se utilize ponderação pelo último voto. Isto significa que, nas sondagens, os inquiridos deverão ser questionados sobre o partido em que votaram nas últimas eleições e, caso haja discrepâncias entre os resultados obtidos na amostra e os resultados eleitorais reais das últimas eleições, se deve proceder a reequilíbrio amostral. Não creio que caiba à ERC, nem a uma comissão de diagnóstico nomeada pela ERC, a recomendação da adopção de opções técnicas e metodológicas cuja bondade na melhoria das estimativas não seja inequívoca. E a verdade é que não é de todo evidente que isso suceda com a ponderação por recordação de voto. O tema é controverso, há quem utilize esta ponderação e quem não a utilize, e, mais importante, não há qualquer evidência empírica para o caso português de que a sua utilização melhore os resultados. Isto não implica que não se deva discutir a sua adopção. E até possível que se conclua que, afinal, é mesmo a melhor opção no caso português. Mas é matéria para discussão e estudo, não para uma "recomendação" emanada de uma comissão nomeada pelo regulador sem bases factuais.

- O relatório sugere que, em amostras por quotas, se mencione que "o erro é desconhecido". Mas isto é enganador. É uma recomendação que, à partida, parece fundada em bases técnicas, mas é-o apenas superficialmente. É verdade que o conceito de erro amostral e a sua estimação presume amostras probabilísticas, coisa que as amostras por quotas, por definição, não são. Mas a verdade é que as amostras ditas aleatórias também não o são. Mesmo quando seleccionam números de telefone por puro random digit dialing, a incapacidade de estabelecer contacto com inquiridos que teriam sido seleccionados aleatoriamente ou de obter deles respostas faz com que a amostra deixe de ser uma amostra probabilistica do universo que se pretende e se diz representar. E em sondagens presenciais, mesmo que seleccionem localidades, domicílios e inquiridos aleatoriamente, a utilização de cluster sampling introduz erro adicional ao erro subjacente a uma amostragem puramente aleatória. Não é impossível estimar esse erro, mas é bastante complicado e, de resto, controverso. Logo, a única coisa que uma ficha técnica pode razoavelmente dizer em qualquer sondagem é aquilo que a comissão sugere na 2ª parte da sua recomendação: "Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%". O erro, em rigor, é sempre desconhecido, e dizer isso apenas nas amostras por quotas é que é, isso sim, enganador.

- A indicação da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção seria sem dúvida uma informação útil a adicionar à ficha técnica depositada na ERC. Mas iludimo-nos se pensarmos que essa informação pode ser sempre depositada antes da divulgação pública de uma sondagem pré-eleitoral. Em estudos académicos ou qualquer outro tipo de sondagem que não esteja sujeito a um calendário apertado de divulgação, não hesito em apoiar a ideia. Mas é muito frequente que, de forma a que uma sondagem seja conduzida o mais perto possível da data das eleições, minimizando diferenças entre resultados de sondagens de intenção de voto e resultados eleitorais, não sobre depois tempo para conduzir todos os controlos e inspecções antes da divulgação pública dos resultados. Logo, em muitos casos, a indicação que a comissão sugere para a ficha técnica depositada na ERC antes da divulgação pública dos resultados não pode, pura e simplesmente, ser feita.

- O relatório sugere que é importante que as fichas técnicas passem conter informação sobre "abstenção estimada". Não contesto de forma alguma que as fichas técnicas depositadas na ERC e a divulgação que é feita das sondagens junto de amostras que visam representar a totalidade dos eleitores incluam informação sobre a parte que, quando questionada sobre se vai ou não votar, responde que não o tenciona fazer. Também me inclino bastante - por achar o tema quase consensual na literatura - para que um questionário contenha sempre uma ou várias questões, separadas da questão de intenção de voto propriamente dita, destinadas a apurar a probabilidade de que um inquirido vá votar. Nuns casos, essas perguntas servirão para estimar um "eleitorado provável" de entre o conjunto de eleitores inquiridos, dando às intenções de voto desses um peso maior (ou exclusivo). Noutros casos - que me parecem pouco inventariados no relatório - parecem servir mesmo para definir a própria amostra, fazendo com que seja exclusivamente composta de "eleitores prováveis". O que já não compreendo bem é a recomendação de que se apresente sempre um valor para a "abstenção estimada". "There is no standard, widely accepted way for estimating a person's likelihood of voting. Most polling organizations combine the answers to several questions to estimate the likely electorate, and some methods work better than others". Obrigar os institutos a apresentarem as frequências das perguntas que utilizaram para estes efeitos é uma coisa. Obrigá-los a apresentar uma "estimativa" da abstenção é outra. Não creio que a segunda deva ser exigida.

- Finalmente, o relatório recomenda a criação de um "programa informático" que "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão". Acho óptimo que a ERC ou seja quem for recolha e disponibilize resultados de sondagens e de todos os aspectos técnicos ligados à sua realização. De resto, a ERC vai fazendo cada vez melhor trabalho neste domínio. Mas não sei como vai a ERC compatibilizar esta recomendação do relatório, especialmente no que diz respeito aos intervalos de confiança, com esta outra:

"No caso de sondagem por quotas, a indicação da margem de erro tem um sentido meramente indicativo do erro que se correria se ela fosse probabilística. Mas como não o é, o erro pode ser muito maior, maior, menor ou muito menor, pelo que em nosso entender se deve claramente referir que “o erro é desconhecido." (p. 23)

De resto, a afirmação de que "o erro pode ser muito maior, maior, menor ou muito menor" aplica-se igualmente a amostragem aleatória. E mais importante, claro, é este conceito de "saiam fora dos limites previstos". Na base do que acabam por a ser os resultados das eleições? Ah, mas isso é matéria para o próximo post.