Em que configurações os intervalos de confiança não melhoram à medida que o tamanho da amostra aumenta?

Em uma postagem no blog , encontrei a alegação de que

"Acredito que o WG Cochrane é o primeiro ponto (aproximadamente da década de 1970) que, com intervalos de confiança em um cenário observacional, amostras pequenas resultam em melhor cobertura com amostras grandes o suficiente, fornecendo cobertura quase nula!"

Agora, suponho que a largura do IC deve se aproximar de 0 com o aumento do tamanho da amostra, mas a ideia de que a cobertura pioraria simultaneamente não é convincente para mim. Essa afirmação é verdadeira e sob quais circunstâncias? Ou estou interpretando errado?

Fiz uma simulação usando dados aleatórios distribuídos normalmente com tamanhos de amostra de 10000 a 1000000 (teste t de uma amostra, IC de 95%), 1000 execuções em todos os tamanhos de amostra e a cobertura não piorou nos tamanhos de amostra mais altos (em vez disso, encontrei a taxa de erro esperada quase constante de ~ 5%).

Observe a qualificação "em um ambiente observacional".

Verificando o contexto no qual você tirou a citação (a sub-discussão dos comentários), parece que a intenção está "no mundo real" e não em simulações, e provavelmente não inclui um experimento controlado. e, nesse caso, a intenção provável é uma conseqüência do fato de que as suposições sob as quais os intervalos são derivados não são realmente válidas. Existem inúmeras coisas que podem afetar o viés - que são de pequeno efeito em comparação com a variabilidade em amostras pequenas - mas que geralmente não reduzem em tamanho à medida que o tamanho da amostra aumenta, enquanto os erros padrão o fazem.

$1/\sqrt n$

Aqui está uma ilustração - que talvez exagere o viés - para indicar o que eu acho que significa a probabilidade de cobertura de IC encolher à medida que o tamanho da amostra aumenta:

$n$

Doce ironia. Antes desse parágrafo, a mesma pessoa diz: "Não admira que haja tanta confusão generalizada". "Intervalos de confiança em um cenário observacional": o que isso significa?

Parece-me que isso é mais uma vez uma confusão entre estimativas e testes de hipóteses .

Agora eu sei que a largura do IC deve se aproximar de 1 com o aumento do tamanho da amostra.

$0$

A referência é um comentário em uma postagem de um blog pessoal . Eu não me preocuparia muito com a validade desse tipo de referência. O blog, de propriedade de Larry Wasserman, tende a ser muito bem escrito, por outro lado. Isso me lembrou o quadrinho do xkcd:

http://xkcd.com/386/