Existe um viés conhecido com pesquisas telefônicas nos EUA?

Eu estava olhando para uma pesquisa do Washington Times / ABC, e a repartição dos resultados, principalmente por idade, me pareceu surpreendente. Então fui procurar preconceitos.

Ele disse: "a pesquisa foi realizada por telefone, de 11 a 14 de dezembro de 2014, entre uma amostra aleatória de 1.000 adultos. As entrevistas foram realizadas em inglês e espanhol em telefones fixos e celulares".

A pesquisa não me deu o número de entrevistados em cada faixa etária, e meu primeiro pensamento foi que tipo de pessoa entre 18 e 29 anos é o lar de atender o telefone ?! OK, eles incluem celular, o que o torna um pouco mais justo. Mas, ainda assim, que tipo de pessoa entre 18 e 29 anos atende seu telefone celular, é perguntado se eles querem fazer uma pesquisa e diz "sim, claro".

(Eu não quero dizer isso como uma pergunta retórica; meu palpite é que certos grupos são muito mais prováveis, por exemplo, alguém com baixa auto-estima pode gostar do processo de pedir sua opinião por um estranho por telefone.)

Então, existe alguma pesquisa sobre esse tópico? Uma organização interessada em manipular a opinião pública escolheria uma pesquisa por telefone, em vez de pesquisas on-line ou entrevistas na rua, se estivesse atrás de um viés específico?

Há um bom estudo da Pew que analisa o quanto as taxas de resposta caíram e também quais são os efeitos.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Um novo estudo do Centro de Pesquisa Pew para o Povo e a Imprensa descobriu que, apesar das taxas de resposta decrescentes, as pesquisas por telefone que incluem telefones fixos e celulares e são ponderadas para corresponder à composição demográfica da população continuam a fornecer dados precisos sobre a maioria das políticas , medidas sociais e econômicas, o que acompanha o consistente registro de precisão alcançado pelas principais pesquisas de opinião quando se trata de estimar os resultados das eleições, entre outras coisas.

"Isso não quer dizer que as taxas de resposta em declínio não tenham conseqüências. Uma área significativa de possível viés de não resposta identificado no estudo é que os participantes da pesquisa tendem a se envolver significativamente mais em atividades cívicas do que aqueles que não participam, confirmando o que foi feito anteriormente." As pessoas que se voluntariam são mais propensas a concordar em participar de pesquisas do que aquelas que não fazem essas coisas. Isso tem sérias implicações na capacidade de uma pesquisa de medir com precisão comportamentos relacionados ao voluntariado e à atividade cívica. Por exemplo, pesquisas por telefone pode superestimar comportamentos como frequentar a igreja, entrar em contato com funcionários eleitos ou participar de eventos de campanha ".

Existe um viés conhecido com pesquisas telefônicas nos EUA?

Sim, existe um viés conhecido nas pesquisas por telefone nos EUA: telefones celulares.

Por um longo tempo, o padrão-ouro da pesquisa telefônica aleatória nos EUA foi a discagem aleatória de dígitos: as máquinas geravam números de telefone aleatórios e os pesquisadores fizeram perguntas a quem atendesse. Supondo que todos tivessem um e apenas um telefone, a pesquisa foi uma amostra aleatória simples de proprietários de telefones.

No entanto, a chegada dos celulares mudou isso: muitas pessoas, principalmente os jovens, não têm telefone fixo. Mesmo dentro de dados demográficos específicos (faixa etária, gênero, raça), essas populações apenas para celulares têm atitudes políticas distintas das populações com telefones fixos ou ambos os tipos de telefones. Como é ilegal para discadores automatizados ligar para celulares, isso causa estragos nas pesquisas.

Para os pesquisadores, isso significa que eles precisam usar seres humanos para ligar para todos os celulares, o que é obviamente muito mais caro. Assim, os pesquisadores devem, a priori , decidir quantos celulares eles precisam ligar para controlar os custos. O número de chamadas de telefone celular deve ser equilibrado com o número de chamadas automáticas de telefone fixo de maneira cientificamente correta - discando número suficiente de casas somente para celular, casas somente para telefone fixo e casas com ambos proporcionalmente à sua incidência na população, enquanto isso não ocorre. exceder o seu orçamento!

O efeito dos celulares provavelmente não é a fonte de possível viés.

Eu suspeito que os pesquisadores que a pesquisa do Washington Times / ABC usou está bem ciente de tudo isso, pois como construir uma amostra aleatória à luz do "efeito do celular" é praticamente o tópico com o qual todas as pesquisas políticas contemporâneas estão lidando hoje. Portanto, é provável que os pesquisadores tenham tomado medidas para mitigar o "efeito do celular" nesta pesquisa. No entanto, talvez os pesquisadores tenham tido um dia ruim e a discagem aleatória dos números de celular não tenha produzido respostas reais o suficiente.

Se houver viés, podem ser os pesos da amostra.

Outra fonte potencial de viés nessas pesquisas é a ponderação da amostra. O objetivo de pesar amostras é reduzir o número de pessoas que você precisa alcançar em vários (combinações de) grupos demográficos, atribuindo pesos diferentes a diferentes segmentos da população. Isso, é claro, leva à pergunta "como você sabe que pesou a amostra corretamente?" É por isso que algumas firmas de voto terão estimativas consistentemente acima / abaixo das de outras firmas de votação: elas têm métodos diferentes para ponderar sua amostra e que puxam o resultado de maneira consistente em uma direção específica.

Este é um exemplo da troca de desvio e desvio. Os pesquisadores poderiam usar uma amostra aleatória pequena e simples para obter uma estimativa de alta variância. Ou eles poderiam usar pesos para reduzir a variação da estimativa da amostra pequena, mas ao custo do viés (estatístico).

Todos os pesquisadores (e estatísticos em geral) precisam lidar com a troca de desvio de variação de uma maneira ou de outra. Isso não significa necessariamente que eles são malévolos ou estão tentando manipular o público.

Explicações alternativas abundam.

Existem várias maneiras de atrapalhar uma pesquisa, acidental ou deliberadamente. Reescrever uma pergunta pode gerar respostas diferentes entre grupos diferentes. A pesquisa por push, na qual as perguntas são formuladas para obter uma resposta específica, é o exemplo mais óbvio e nefasto disso.

Uma organização interessada em manipular a opinião pública escolheria uma pesquisa por telefone, em vez de pesquisas on-line ou entrevistas na rua, se estivesse atrás de um viés específico?

Esta questão não é inteiramente estatística, pois exige especulações sobre os motivos e métodos de alguma entidade hipotética e malévola. Só posso responder parcialmente.

Entrevistar pessoas na rua não é realmente aleatório e provavelmente é tendencioso (no sentido de que tenderá a incluir alguns grupos em maior proporção que outros).

O objetivo da discagem de dígitos aleatórios é alcançar um estado em que todos tenham igual probabilidade de seleção. Ir a alguma esquina e entrevistar pessoas não consegue isso, porque você tenderá a incluir pessoas que moram e trabalham nas proximidades. Se você for a uma rua em Washington, DC, terá quase 0 chance de selecionar uma pessoa que não é de DC, Maryland ou Virgínia.

Além disso, considere qual rua você vai. Entrevistar pessoas na rua, digamos, no bairro de Cleveland Park, em Washington, DC, será muito diferente de entrevistar pessoas nas ruas de Anacostia: esses lugares têm uma composição demográfica muito distinta.

A pesquisa de pessoas on-line não é realmente aleatória, mas não está claro se é pior que a pesquisa por telefone.

A população de pessoas que optam por participar de uma pesquisa on-line é uma população auto-selecionada, não necessariamente amostrada aleatoriamente de todos os possíveis entrevistados. Os pesquisadores tradicionais que tendem a favorecer as pesquisas por telefone são muito céticos em relação às pesquisas on-line por esse motivo. No entanto, pessoas como Andrew Gelman têm menos certeza de que o resultado final de uma pesquisa telefônica discada aleatoriamente e de uma pesquisa on-line auto-selecionada é significativamente diferente. Esta é uma área muito aberta de pesquisa.

Uma organização interessada em manipular a opinião pública escolheria uma pesquisa por telefone, em vez de pesquisas on-line ou entrevistas na rua, se estivesse atrás de um viés específico?

Todos os métodos de pesquisa podem ser tendenciosos, incluindo alguns outros não mencionados na pergunta.

Para representar demais os pontos de vista dos idosos, escolha uma pesquisa por telefone e 'esqueça' de normalizar as faixas etárias, sabendo que os entrevistados mais jovens estavam mal representados.

As pesquisas de rua sem nenhuma configuração e normalização de cotas provavelmente seriam a maneira mais fácil de obter um viés. De acordo com o Sycorax, basta escolher sua rua. A pesquisa nas horas de trabalho ou fora delas também transformaria os resultados. Eu fui entrevistador de rua. Trabalhamos para definir cotas rigorosas que combinam faixa etária, gênero e classe social, mas, dentro disso, eu estava consciente da minha própria tendência de abordar pessoas dentro da cota que eu gostava da aparência (pessoas que eram um pouco como eu, se você gosta) do que pessoas dentro da cota que tiveram apelo visual menos imediato. E eu não acho que eles tinham cotas para tipos de entrevistadores!

Os jornais tabloides britânicos regularmente realizam 'pesquisas' sim / não auto-selecionadas de seus próprios leitores, geralmente em uma questão emotiva, relatando os resultados como se fossem um representante genuíno da pesquisa, e frequentemente com maior destaque do que o adequado, eticamente pesquisas realizadas.

Como Andy Jones comentou, existem maneiras muito mais fáceis de influenciar uma pesquisa. Escolha de datas e horários, ajustes de redação (especialmente nas pesquisas Antes e Depois), perguntas principais, perguntas prévias ou filtrantes sobre o estabelecimento de humor, suposições reducionistas, opções de resposta restritas e assim por diante. Em Londres, várias seções de gerenciamento de tráfego municipal, gerenciamento de estacionamento e consulta pública parecem fazer dessas técnicas ocultas sua especialidade.

Normalmente, se eles estão trazendo restrições de tráfego, eles consultam apenas residentes em uma área estreita e próxima, e nem motoristas. Os residentes receberão um cartão da caixa de seleção pela porta ou talvez dois cartões em uma grande propriedade antiga dividida em cinco ou sete apartamentos separados.

Uma forma verdadeiramente imbatível de viés de votação, embora não faça parte do próprio processo de votação, é conduzi-lo de qualquer maneira (por exemplo, perfeitamente) e simplesmente suprimir os resultados, se não forem adequados. Uma associação de residentes de uma área em que vivi, controlada com mão de ferro por um funcionário sindical muito manipulador, fez exatamente isso.

Finalmente, em 2004, voltando de férias no aeroporto de Stansted, me deparei com uma "porta" composta por uma parede dupla de perspex e um detector de movimento. Os passageiros foram convidados a entrar por essa porta opcional se quisessem fazer as Olimpíadas acontecerem em Londres. Uma minoria considerável da opinião pública na época não estava entusiasmada com a obtenção de um projeto de lei maciço para um evento de vaidade, lembrando a carga fiscal grega e a corrupção em Utah, e a equipe do London Back the Bid estava tentando angariar apoio.

Você poderia atravessar a porta quantas vezes quisesse para registrar um 'voto' (era chamado assim) a cada vez nas Olimpíadas, para deleite das famílias com crianças pequenas. Infelizmente, eles esqueceram de fornecer uma segunda porta para pessoas que não queriam uma conta grande por 30 anos, ou para pessoas como eu, que pensavam que Paris era digna do evento.

Curiosamente, o resultado no estilo soviético foi que 100% dos britânicos queriam as Olimpíadas. Eu ainda vou pagar por eles por muito tempo na minha aposentadoria. Coisas úteis, pesquisas.