quarta-feira, janeiro 31, 2007

Amostras voluntárias

Não me passava pela cabeça, inicialmente, escrever sobre este assunto, que é o tipo de coisas que me costumam passar por baixo do radar. Mas começa a ser evidente que muitas pessoas parecem estar persuadidas de que os resultados do "Big Brother Grandes Portugueses" são representativos de alguma coisa. De facto, de alguma coisa serão representativos, mas da opinião da população portuguesa não serão certamente. Vamos lá então à história clássica, já contada mil e uma vezes em aulas de cadeiras de metodologia das ciências sociais ou de estudos de opinião pública:

"The first rule of survey sampling is that respondents cannot select themselves. Self-selection introduces socioeconomic and demographic biases; "man-on-the-street" polls, straw polls, call-ins, and mail-ins all violate this rule. Most online polls are also not scientific in nature and should be taken as entertainment. One example of the impact of poor methodology on poll results is the 1936 Literary Digest poll. 10 million ballots were mailed to households listed in telephone directories or state auto registrations. This introduced significant biases since, in 1936, Republicans were more likely than working class Democrats or Southern farmers to have phones or cars. 2.4 million ballots were returned, but this type of mail-in return allows people to self-select as poll respondents. The problem with self-selection is that people who respond to mail surveys tend to be better educated, have higher incomes, and feel more strongly about the matters dealt with in the questionnaire than the general population. As a result of so many errors, the poll incorrectly predicted that Republican Gov. Alf Landon of Kansas would defeat Democrat Franklin Delano Roosevelt for President. "

Aliás, foi nestas eleições que um jovem chamado George Gallup começou a construir o seu império e mudou a face das sondagens e dos estudos de opinião pública.

Outra história que já nos poderá ser mais familiar é a "vitória" de Santana Lopes no debate com Sócrates na SIC Notícias em Fevereiro de 2005. Como ilustração das virtudes do método, basta.

E isto não é uma "crítica" aos "Grandes Portugueses". Criticar o quê? "Should be taken as entertainment". Nem mais, nem menos.

P.S.- Sobre o assunto, ler Rui Ramos, no Público.

P.P.S. - Certo, certo, mas já agora vale a pena explicar porquê: quando se trata de amostras de populações humanas, o facto de alguém de recusar a fornecer informação faz desde logo com que a informação recolhida provenha de uma amostra auto-seleccionada. Mas a diferença está em que o processo de selecção não é ele próprio enviesado, para além de que se pode recolher alguma informação sobre quem recusou e procurar com ela corrigir os enviesamentos causados pelas não-respostas. Numa amostra de um call-in, tudo, do princípio ao fim, está fora de controlo.

Sem comentários: