O que dizer a um cliente que acha que os intervalos de confiança são grandes demais para serem úteis?

22

Suponha que eu seja um consultor e queira explicar ao meu cliente a utilidade do intervalo de confiança. O cliente me diz que meus intervalos são grandes demais para serem úteis e ele prefere usar os que têm metade da largura.

Como devo responder?

confidence-interval interpretation

— student_diversified
fonte

15

fature-os para coletar mais dados.

— shabbychef

2

Isso me lembra um artigo de leitura obrigatória sobre tipos de clientes em consultoria estatística.

@Procrastinator Você se importaria de publicar um link para uma versão em PDF do artigo?

— assumednormal

1

@ Max, parece apenas estar obviamente disponível no JSTOR; postando um PDF seria uma violação da (muito razoáveis) condições de serviço do JSTOR ...

— Ben Bolker

@shabbychef - geralmente é uma maneira altamente ineficiente de aumentar a precisão, especialmente se a amostra já for grande. por exemplo, para reduzir pela metade a largura do ci de um ci médio normal, você precisa quadruplicar o tamanho da amostra. É melhor gastar algum tempo melhorando o modelo antes de ir e aumentar o seu maior custo em quatro vezes!

— probabilityislogic

16

Depende do que o cliente entende por "útil". A sugestão do seu cliente de que você reduza arbitrariamente os intervalos parece refletir um mal-entendido de que, ao restringir os intervalos, você diminuiu magicamente a margem de erro. Supondo que o conjunto de dados já tenha sido coletado e corrigido (se esse não for o caso, a piada de @ shabbychef nos comentários fornece sua resposta), qualquer resposta ao seu cliente deve enfatizar e descrever por que não há "almoço grátis" e que você está sacrificando algo diminuindo os intervalos.

Especificamente, como o conjunto de dados é fixo, a única maneira de reduzir a largura do intervalo de confiança é diminuindo o nível de confiança. Portanto, você pode escolher entre um intervalo mais amplo e mais confiante, que contém o valor verdadeiro do parâmetro ou um intervalo mais restrito do qual você tem menos confiança. Ou seja, intervalos de confiança mais amplos são mais conservadores. Obviamente, você nunca pode otimizar apenas a largura ou o nível de confiança sem pensar, pois é possível gerar um intervalo de confiança de , permitindo que ele abranja todo o espaço de parâmetros e obtenha um intervalo de confiança infinitamente estreito, embora tenha cobertura de . $100 \%$ $0 \%$

Se um intervalo menos conservador é ou não mais útil depende claramente do contexto e de como a largura do intervalo varia em função do nível de confiança, mas estou tendo problemas para visualizar um aplicativo em que use um nível de confiança muito menor para obter intervalos mais estreitos seriam preferíveis. Além disso, vale ressaltar que o intervalo de confiança de se tornou tão onipresente que será difícil justificar por que você está, por exemplo, usando um intervalo de confiança de . $95 \%$ $60\%$

— Macro
fonte

6

Você não pode simplesmente reduzir o intervalo de confiança sem abrir mão de algo, mas há um pouco de flexibilidade análoga à diferença entre um teste unilateral e um teste bicaudal. Além disso, é possível que um modelo melhor dos mesmos dados produza intervalos de confiança diferentes (e possivelmente menores).

— Douglas Zare

3

Eu acho que você está vendendo a última parte um pouco curta. A onipresença do IC95 % é um fenômeno cultural. Em alguns contextos, outros valores são comuns, por exemplo, ao plotar, barras de erro geralmente são erros padrão (ou seja, 68% de ICs), como tenho certeza de que você está familiarizado. (+1, btw)

— gung - Reinstate Monica

2

Em espírito, esta resposta é boa, mas acho que o segundo parágrafo é muito limitador. Um grande benefício que o estatístico traz para essa parte é o conhecimento de procedimentos alternativos que podem atender melhor às necessidades do cliente. Em muitos casos, é possível restringir a largura de um IC selecionando um procedimento de IC diferente. Isso não requer a coleta de mais dados (-1 para @shabbychef, receio) nem diminuir o nível de confiança. A parte mais difícil é interpretar um IC em que o procedimento foi selecionado post hoc. É por isso que queremos ter essa conversa antes de analisar (ou mesmo coletar) os dados!

— whuber

7

Estou reagindo a isso, Macro, porque, na prática, não funciona bem para ser tão inflexível. O risco é que o cliente ignore seu conselho e peça ajuda a alguém que não conhece melhor (mas afirma ter experiência suficiente em estatística). O cenário do OP é familiar e comum: é melhor visto como uma oportunidade para informar e educar o cliente, além de oferecer alternativas (juntamente com uma discussão franca de seus prós e contras). Precisamos dizer "sim, o IC pode ser menor, mas aqui estão algumas das consequências de fazer isso" em vez de "não, você está ferrado".

— whuber

2

Esse é um bom ponto @whuber (+1) em situações em que alternativas mais eficientes podem estar disponíveis - mais um motivo para consultar um estatístico antes de coletar / analisar os dados.

— Macro

2

Eu sugeriria que depende inteiramente do motivo pelo qual seu cliente deseja usar os intervalos de confiança.

Algum tipo de relatório / publicação / etc. onde 95% dos ICs são normalmente relatados. Eu poderia muito bem dizer a ele "Isso não é estatisticamente justificado" e deixá-lo lá, dependendo de o cliente tender ou não a adiar seus conhecimentos. Caso contrário, você deve julgar seu próprio conforto profissional com o que eles desejam.
Algum tipo de documento interno - eu deixaria claro que você não concorda e que tipo de intervalo de confiança o leitor está olhando agora, já que não é de 95%.
Como medida da incerteza estimada, diga para determinar quanta análise de sensibilidade uma pessoa pode ter que fazer? Eu daria a eles um número mostrando a distribuição completa com o IC de 95% e algo como um IC de 68% marcado e deixaria eles entenderem.

Eu ficaria muito orgulhoso de mim mesmo se conseguisse impedir que "faça um estudo maior" de ser a primeira coisa que sai da minha boca.

— Fomite
fonte

1

+1. Acho que os comentários que você fez em (2) provavelmente também seriam relevantes na situação descrita em (1).

— Macro

0

Use o desvio padrão, como a maioria das pessoas. IC de 95% pode ser assustador quando as pessoas estão acostumadas com o IC de 68%.

— Geoph Twombly
fonte

4

Parece-me que, neste caso, estamos apenas interessados em mostrar a precisão, digamos, da média da amostra, não a variabilidade dos valores individuais. Por que você recomendaria o desvio padrão , especificamente?

— chl

Fisher originalmente sugeriu ICs de 95% como uma aproximação a 2 desvios padrão.

— Patrick Caldon

1

@ Patrick, parece que você perdeu o ponto de vista de chl (assim como Fisher mal representou, que não cometeu esse erro) ou então você escreveu "desvio padrão" onde pretendia " erro padrão ". A maioria dos ICs é baseada em erros padrão, é claro, não em desvios padrão. 2 DSs não se aproximam de um IC nem vice-versa.

— whuber

Obviamente, o erro padrão é apenas o desvio padrão da média, então é apenas terminologia. Ou seja, dizer que os ICs não são baseados em desvios padrão não é realmente verdade. Eles não se baseiam no desvio padrão da amostra, mas no desvio padrão da média.

— Aaron - Restabelecer Monica

2

Nem todas as estimativas são médias. Existem erros padrão para estimativas diferentes de médias e é o erro padrão da estimativa que é usado para gerar intervalos de confiança para um parâmetro com base na variabilidade de uma estimativa, como sugere o whuber.

— Michael R. Chernick

0

Você fornece um intervalo de confiança em um determinado nível padrão, como 90% ou 95%. O cliente pode julgar se o intervalo é grande demais para ser útil. Mas é claro que isso não significa que você pode reduzi-lo para torná-lo útil. Você pode sugerir que o aumento do tamanho da amostra diminuirá a largura de um intervalo em um determinado nível de confiança, pois diminui aproximadamente um fator da raiz quadrada do tamanho da amostra.

— Michael R. Chernick
fonte