Calcule um intervalo de confiança de dados de amostra

Tenho dados de amostra para os quais gostaria de calcular um intervalo de confiança, assumindo uma distribuição normal.

Eu encontrei e instalei os pacotes numpy e scipy e consegui que o numpy retornasse uma média e um desvio padrão (numpy.mean (dados) com os dados sendo uma lista). Qualquer conselho sobre como obter um intervalo de confiança de amostra seria muito apreciado.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

você pode calcular assim.

Aqui está uma versão abreviada do código de shasan, calculando o intervalo de confiança de 95% da média da matriz a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Mas usar StatsModels tconfint_meané indiscutivelmente ainda melhor:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

As suposições subjacentes para ambos são que a amostra (matriz a) foi desenhada independentemente de uma distribuição normal com desvio padrão desconhecido (consulte MathWorld ou Wikipedia ).

Para tamanho de amostra grande n, a média da amostra é normalmente distribuída, e pode-se calcular seu intervalo de confiança usando st.norm.interval()(como sugerido no comentário de Jaime). Mas as soluções acima também estão corretas para n pequeno, onde st.norm.interval()fornece intervalos de confiança muito estreitos (ou seja, "confiança falsa"). Veja minha resposta a uma pergunta semelhante para obter mais detalhes (e um dos comentários de Russ aqui).

Aqui está um exemplo em que as opções corretas fornecem (essencialmente) intervalos de confiança idênticos:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

E, finalmente, o resultado incorreto usando st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Comece procurando o valor z para o intervalo de confiança desejado em uma tabela de consulta . O intervalo de confiança é então mean +/- z*sigma, onde sigmaé o desvio padrão estimado da média da amostra, dado por sigma = s / sqrt(n), onde sé o desvio padrão calculado a partir dos dados da amostra e né o tamanho da amostra.

Começando Python 3.8, a biblioteca padrão fornece o NormalDistobjeto como parte do statisticsmódulo:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Este:

• Cria um NormalDistobjeto a partir da amostra de dados ( NormalDist.from_samples(data), que nos dá acesso à média e ao desvio padrão da amostra por meio de NormalDist.meane NormalDist.stdev.

• Calcule com Z-scorebase na distribuição normal padrão (representada por NormalDist()) para a confiança fornecida usando o inverso da função de distribuição cumulativa ( inv_cdf).

• Produz o intervalo de confiança com base no desvio padrão e na média da amostra.

Isso assume que o tamanho da amostra é grande o suficiente (digamos mais de ~ 100 pontos) para usar a distribuição normal padrão em vez da distribuição t do aluno para calcular o zvalor.