O SurveyMonkey ignora o fato de você obter uma amostra não aleatória?

O SurveyMonkey possui etapas e um gráfico para você descobrir qual o tamanho da amostra necessário para uma determinada margem de erro ou intervalo de confiança, com base no tamanho da sua população.

Tamanho da amostra SurveyMonkey

Este gráfico simplesmente ignora o fato de que você não obterá uma amostra aleatória, uma vez que você apenas recebe as pessoas que se preocupam em responder à pesquisa?

Estou sendo avisado enquanto digito que a pergunta parece subjetiva, então talvez eu não esteja fazendo a pergunta corretamente. Não é realmente sobre o SurveyMonkey, mas é uma pergunta mais geral - você pode realmente calcular intervalos de confiança a partir de dados de resposta voluntária usando algumas técnicas avançadas que eu não conheço?

Nas pesquisas de opinião pública ou nas pesquisas nacionais, obviamente eles devem lidar com esse problema. Minha formação não abrangeu as técnicas de amostragem de pesquisa em profundidade, mas presumo que isso envolve a coleta de dados demográficos e a utilização para saber o grau de representatividade de uma amostra.

Mas além disso, para uma simples pesquisa on-line, eles estão apenas assumindo que as pessoas que se preocupam em responder são uma amostra aleatória da população?

— mate
fonte

A resposta curta é sim: o Survey Monkey ignora exatamente como você obteve sua amostra. O Survey Monkey não é inteligente o suficiente para supor que o que você coletou não é uma amostra de conveniência, mas praticamente todas as pesquisas do Survey Monkey são uma amostra de conveniência. Isso cria uma discrepância enorme exatamente no que você está estimando, que nenhuma quantidade de amostragem pura pode / irá eliminar. Por um lado, você pode definir uma população (e associações) que obteria de uma SRS. Por outro lado, você pode definir uma população definida por sua amostragem não aleatória, as associações que você podeestimativa (e as regras de energia são válidas para esses valores). Cabe a você, como pesquisador, discutir a discrepância e deixar o leitor decidir exatamente o quão válida a amostra não aleatória pode ser para aproximar uma tendência real.

Como ponto, há usos inconsistentes do termo viés. Na teoria das probabilidades, o viés de um estimador é definido por . No entanto, um estimador pode ser tendencioso, mas consistente, de modo que o viés "desapareça" em amostras grandes, como o viés das estimativas de máxima verossimilhança do desvio padrão de RVs normalmente distribuídos. ou seja, . Os estimadores que não possuem viés de fuga (por exemplo, ) são chamados de inconsistentes $\mbox{Bias}_n = \theta - \hat{\theta}_n$ $\hat{\theta} \rightarrow_p \theta$ $\hat{\theta} \not\to_p \theta$ na teoria da probabilidade. Especialistas em design de estudos (como epidemiologistas) adquiriram o mau hábito de chamar a inconsistência de "viés". Nesse caso, é o viés de seleção ou o voluntário. Certamente é uma forma de viés, mas a inconsistência implica que nenhuma quantidade de amostragem irá corrigir o problema.

Para estimar associações no nível populacional a partir de dados de amostra de conveniência, você teria que identificar corretamente o mecanismo de probabilidade de amostragem e usar a ponderação inversa de probabilidade em todas as suas estimativas. Em situações muito raras, isso faz sentido. Identificar esse mecanismo é quase impossível na prática. Um momento em que isso pode ser feito é em uma coorte de indivíduos com informações anteriores que são abordadas para preencher uma pesquisa. A probabilidade de não resposta pode ser estimada em função das informações anteriores, por exemplo, idade, sexo, SES, ... A ponderação oferece uma chance de extrapolar quais resultados teriam sido na população que não respondeu. O censo é um bom exemplo do envolvimento da ponderação inversa de probabilidade para essas análises.

— AdamO
fonte

Você poderia elaborar um pouco sobre o sentido em que uma amostra de conveniência pode ser considerada inconsistente, mas não tendenciosa ? Historicamente, muitas amostras de conveniência se mostraram severamente tendenciosas (e "tendenciosa" é precisamente o termo usado pelas pessoas para descrevê-las): a pesquisa do Literary Digest de 1936 talvez seja o exemplo mais famoso.

— whuber

@whuber Perdoe meu uso "inconsistente" da terminologia. Viés era algo que eu assumi desaparecer em grandes amostras, enquanto estimativas inconsistentes nunca convergem em grandes amostras. Na teoria prob, os exemplos de estimadores inconsistentes são poucos e distantes entre si, mas da perspectiva do design do estudo eles surgem o tempo todo. Curiosamente, os epidemiologistas tendem a chamar isso de "viés" (isto é, viés de seleção). Mas a questão dos pôsteres parecia sugerir que "amostrar mais" aliviaria o viés, como poderia ser o caso de um tipo de viés da teoria da probabilidade.

— Adamo

Não sei se entendi tudo isso, então deixe-me focar apenas uma pequena parte: você está (ou não) afirmando que amostras maiores [convenientes] reduzem o viés? Espero que não, porque isso certamente é falso! (Essa é uma das razões pelas quais a pesquisa da Literary Digest é notória: é uma das maiores já realizadas e exibiu um dos maiores vieses também.)

— whuber

Na verdade não! Amostrar mais não eliminaria esse viés intrínseco. Essa é a questão aqui. O pôster está interessado em poder para estimar a associação da população com uma amostra não aleatória, e meu argumento é que você sempre tem 0 poder para estimar isso (a menos que sejam utilizados mecanismos de ponderação muito cuidadosos e complexos).

— Adamo

Obrigado pelo último comentário; esclarece uma parte da sua resposta que, de outra forma, eu poderia ter interpretado mal. (+1)

— whuber