Por que confiar nas pesquisas?

Sempre que há eleições surge uma onda de questionamentos e incertezas sobre a confiabilidade das pesquisas; afinal, é possível acreditar nos dados apresentados pelos institutos de pesquisa? Como é possível que entrevistando apenas algumas centenas de eleitores se possa conhecer a intenção de voto de mais de 100 milhões de pessoas? A resposta é simples: sim, é possível confiar nos resultados das pesquisas desde que elas sejam bem feitas. O tipo de trabalho realizado por institutos como o Ibope e o Datafolha é aquele que se utiliza nas ciências sociais com alto grau de acerto, mas para que isso ocorra é preciso alguns critérios: o primeiro, e óbvio, é fazer a pergunta certa e colocar uma margem adequada para as respostas; o segundo é ter um número adequado de respostas, o que é calculado de acordo com regrinhas matemáticas simples de acordo com a precisão que se busca, para se ter uma ideia para se chegar a um índice de 98% de certeza sobre as escolhas eleitorais de toda a população brasileira bastam 2000 entrevistas por isso tanta gente questiona que nunca foi nem conhece ninguém que tenha sido entrevistado pelos pesquisadores.  Continue lendo...

O pesquisador Rogério Barbosa expõe isso do seguinte modo: “em Metodologia, temos dois conceitos muito importantes e complementares: validade e confiabilidade. A mensagem deste texto é simples: pesquisas eleitorais possivelmente são válidas, mas não temos conhecimento algum sobre a confiabilidade delas. Em termos simples, validade é “estar certo”. A operacionalização de um conceito é válida quando a variável ou indicador consegue captar os aspectos centrais da teoria. Uma amostra é válida quando consegue representar bem a população. O contrário da validade é o viés. Numa pesquisa amostral, se encontramos que a média de renda é 20 mil reais… podemos saber que esse não é um resultado válido.

Esse exemplo já mostra que, em geral, para dizer sobre validade, temos que ter um critério de comparação, um parâmetro. Numa pesquisa de opinião amostral, é preciso perguntar algumas coisas óbvias, cujos resultados já sabemos (a partir de um levantamento maior e desejavelmente não amostral, como o Censo Demográfico). Se essas perguntas “óbvias” geram resultados que convergem com o que conhecemos, podemos ficar mais tranquilos. E assim, possivelmente as perguntas “mais interessantes” e inéditas também produzirão resultados válidos.

Confiabilidade é precisão. Tem a ver com a margem de erro e a probabilidade de estar errado. O que aprendemos em Estatística é que pode haver todo tipo de combinação entre validade e confiabilidade:

Uma pesquisa pode ser:

1 – Válida (medir as características de forma representativa e sem viés) e confiável (precisa, com pouca margem de erro):

2 – Válida, mas pouco confiável (grande margem de erro): 

3- Inválida (viesada) e confiável (ou seja: acerta com precisão no lugar errado…)

4- Inválida e pouco confiável (pior dos mundos)

A validade não é uma coisa apenas estatística. Perguntas mal feitas geram resultados inválidos. Entrevistadores podem preencher questionários de forma errada ou mesmo com má fé. Na parte logística da pesquisa muitos problemas podem ocorrer… entrevistados podem não ser encontrados. Digitadores também podem errar… E o pior: o propósito da pesquisa pode não ser claro e a operacionalização dos conceitos pode não ter sido boa. This is the validity hell.

A confiabilidade pode ser determinada de antemão. Existem fórmulas matemáticas que determinam o tamanho da amostra. Basta definir a margem de erro máxima que se deseja e pronto. Mas existem milhares de maneiras de fazer amostra… A forma teoricamente mais simples é a chamada Amostra Aleatória Simples. Basicamente é necessário ter o nome ou uma identificação de todo mundo e depois fazer um sorteio em que todas as pessoas têm a mesma probabilidade de ser sorteado. E uma vez que houve sorteio, não é permitido substituir ninguém. Essa tipo de amostra, apesar de teoricamente simples, é muito difícil de ser realizada na prática: não há listagem completa da população!! E imagine só: uma única pessoa lá do interior do Amazonas e sorteada… depois uma de Porto Alegre… e assim por diante. Ficaria muito caro mobilizar uma equipe de pesquisa por todo território nacional pra entrevistar indivíduos dispersos.

Em pesquisa social, outras técnicas de amostragem são utilizadas. Geralmente aplicamos uma combinação de diversas estratégias. Vou dar o exemplo de como o IBGE faz a amostra da PNAD:

1 – Partimos o território nacional em várias regiões de interesse (estratos).

2 – Depois, dentro de cada estrato, sorteamos municípios (conglomerados). Os municípios maiores têm maior probabilidade de ser sorteado (probabilidade proporcional ao tamanho). E os municípios mais importantes serão incluídos na amostra com certeza.

3 – Dentro dos municípios sorteados, há divisões territoriais do próprio IBGE, os setores censitários, que são agrupamentos com cerca de 300 domicílios. Sorteia-se setores censitários — com equiprobabilidade.

4 – Dentro dos setores censitários, são sorteados domicílios — também com equiprobabilidade. E dentro dos domicílios sorteados, todos os indivíduos são entrevistados.

O calculo do tamanho amostral de uma pesquisa assim é beeemmm complicado. Não é uma fórmula simples… Mas a PNAD consegue representar bem não apenas o Brasil como um todo, como também regiões territórios menores: estados, regiões rurais e urbanas, regiões metropolitanas… A PNAD tem mais ou menos 400 mil casos.

Uma amostra com 2000 casos consegue ser representativa do Brasil. Mas com esse número de casos, não conseguimos fazer inferências sobre estados, regiões etc… Só para o Brasil, no agregado. E a margem de erro para esse número de casos é cerca de 5% para mais ou para menos. A margem de erro da PNAD é muito menor!! A confiabiabilidade tem tudo a ver com o número de casos.

Qual o problema das pesquisas eleitorais?

1.           Elas usam a fórmula da amostragem aleatória simples… Mas não realizam uma amostra aleatória simples, mas sim em múltiplos estágios. Ou seja, a margem de erro fornecida pela fórmula simplesmente não se aplica, está errada. O desenho amostral usado na fórmula é um e o efetivamente realizado é outro. Não sabemos de fato qual a margem de erro.

2.           As pesquisas eleitorais geralmente não são domiciliares… Elas perguntam às pessoas que transitam pelas ruas, em “Pontos de fluxo”. Mas nem todo mundo sai de casa todos os dias. E nem todo está nas ruas em horários comerciais… Há um viés de captação (problema de validade). Mas institutos diferentes usam de métodos diferentes…

3.           Por fim, pesquisas eleitorais não aplicam amostragem aleatória em todos os níveis. Sorteia-se municípios, locais de aplicação etc… Mas as pessoas efetivamente selecionadas respeitam uma “cota”: determina-se de antemão o perfil desejado dos entrevistados (por exemplo, “Mulher, com 25 a 30 anos, solteira, com ensino médio”). As regras da margem de erro aplicam-se estritamente a amostras aleatórias. Não há formula alguma para determinar a margem de erro de uma amostra por cotas.

Em geral, as coordenações das pesquisas eleitorais tentam “espalhar as pessoas pelas cidades”. Desta forma, eles conseguem obter muita diversidade em suas amostras. Isso minimiza os problemas de validade.

Possivelmente, eles acertam “em média”. O número de casos é elevado (2800 pessoas, acreditem, é o bastante). E a experiência tem mostrado que os resultados são razoáveis.

Mas uma questão continua: qual é a verdadeira margem de erro das pesquisas eleitorais?  A resposta é simples: não sabemos.