Existe alguma suposição sobre regressão logística?

Existe alguma suposição sobre a variável resposta da regressão logística?

Por exemplo, suponha que tenhamos pontos de dados. Parece que a resposta vem de uma distribuição de Bernoulli com . Portanto, devemos ter distribuições de Bernoulli, com diferentes parâmetros . $1000$ $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

Portanto, eles são "independentes", mas não são "idênticos".

Estou certo?

PS. Aprendi a regressão logística na literatura de "aprendizado de máquina", onde otimizamos a função objetivo e verificamos se ela é boa no teste de dados, sem falar muito sobre suposições.

Minha pergunta começou neste post: Entenda a função de link no modelo linear generalizado Onde tento aprender mais sobre suposições estatísticas.

— Haitao Du
fonte

Uma "suposição" é algo que um teorema pode ter. A regressão linear tem uma "suposição" de erros de IDI (não são os que são "assumidos" como sendo iid na regressão linear! São os erros) no sentido de que o teorema de Gauss-Markov tem essa suposição. Agora, existe algum teorema que se pense em regressão logística? Caso contrário, não há "suposições".

y

$y$

— ameba diz Restabelecer Monica

@ Ammoeba, hxd está correto ao observar que as distribuições não são idênticas: "iid" não se aplica. Se alguém estiver usando regressão logística apenas para seu ajuste, então (como você escreve) talvez sejam necessárias poucas suposições; mas assim que alguém fizer uso da matriz de covariância estimada dos coeficientes ou desejar construir intervalos de previsão (ou, nesse caso, validar cruzadamente os valores previstos), isso exige pressupostos probabilísticos. O habitual é que as respostas sejam independentes.

— whuber

@amoeba, uma vez que você deseja realizar inferência (testes de hipóteses, intervalos de confiança etc.) em vez de simplesmente calcular estimativas de parâmetros, você fará uma série de suposições (algumas mais críticas que outras) para poder derivar a distribuição nula relevante do estatística de teste ou os cálculos necessários para um intervalo com a cobertura desejada. Mesmo procedimentos com pressupostos relativamente baixos ainda têm suposições e, se nos preocupamos com nossas inferências, nos preocuparemos se é provável que eles tenham algo próximo de suas propriedades nominais.

— Glen_b -Reinstala Monica

@amoeba, eu gosto de um teorema que mostra a normalidade assintótica do MLE. Eu também gosto do teste da razão de verossimilhança.

— gammer

Suas distribuições marginais não são idênticas, a menos que todas tenham o mesmo valor preditivo; nesse caso, você apenas tem testes de identificação de bernoulli. Suas distribuições condicionais (dado o preditor) são todos o mesmo, mas eu não acho que você normalmente dizem que o

neste caso são IID.

Y_{i}

$Y_i$

— gammer

Respostas:

Da sua pergunta anterior você aprendeu que GLM é descrito em termos de distribuição de probabilidade, linear preditor função de ligação e e é descrito como $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

onde é uma função de link de logit e supõe-se que segue uma distribuição de Bernoulli $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

cada seguinte distribuição de Bernoulli com ele próprio significativo que está condicionada em . Estamos não assumindo que cada vem da mesma distribuição, com a mesma média (isto seria a única intercepto-modelar ), mas que todos eles têm diferentes meios. Assumimos que 's são independentes , ou seja, não temos que se preocupar com coisas como auto-correlação entre posterior valores etc. $Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

A suposição iid está relacionada a erros na regressão linear (isto é, GLM Gaussiano), onde o modelo é

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

onde , então temos ruído de iid em torno de . É por isso que está interessado no diagnóstico de resíduos e preste atenção nos resíduos versus plotagem ajustada $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ . Agora, no caso de regressão logística do GLM, não é tão simples, pois não há termo de ruído aditivo como no modelo gaussiano (veja aqui , aqui e aqui) Ainda queremos que os resíduos sejam "aleatórios" em torno de zero e não queremos ver nenhuma tendência neles, porque eles sugerem que existem alguns efeitos que não são contabilizados no modelo, mas não assumimos que sejam normal e / ou iid . Veja também o tópico Sobre a importância da suposição iid no aprendizado estatístico .

Como nota, aviso que pode soltar mesmo no pressuposto de que cada vem a partir do mesmo tipo de distribuição. Há (não-GLM) modelos que assumem que diferente 's podem ter diferentes distribuições com diferentes parâmetros, isto é, que os seus dados vem de uma mistura de diferentes distribuições . Nesse caso também se supor que os valores são independentes , uma vez que os valores dependentes, vindo de diferentes distribuições com parâmetros diferentes (isto é típico de dados do mundo real) é algo que na maioria dos casos seria muito complicado para o modelo de (muitas vezes impossível) . $Y_i$ $Y_i$ $Y_i$

— Tim
fonte

Como foi afirmado, embora consideremos frequentemente o caso de iid erros na regressão linear, isso não tem um equivalente direto na maioria dos modelos lineares generalizados (incluindo a regressão logística). Na regressão logística, normalmente empregamos a suposição de independência dos resultados, todos com uma relação muito estrita (isto é, efeitos lineares nas probabilidades logarítmicas). Mas eles resultam em variáveis aleatórias que não são idênticas, nem são decomponíveis em um termo constante mais um erro de identificação, como é o caso da regressão linear.

Se vocês realmente quer mostrar que as respostas têm algum tipo de relação de identificação, siga-me no próximo parágrafo. Apenas saiba que esta ideia está um pouco fora do caminho batido; você pode não receber o crédito total por essa resposta em uma final se seu professor não tiver paciência.

Você talvez esteja familiarizado com o método inverso-cdf para gerar variáveis aleatórias. Se não, aqui está uma atualização: se tem a função de distribuição cumulativa , então eu posso produzir empates aleatórios a partir de fazendo primeiro empates aleatórios e calculando $X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ $Y_i$

$p_i = \text{expit}(\beta_o + \beta_1 x_i)$

$q_i \sim\text{uniform(0,1)}$

$Y_i = F^{-1}(q_i | p_i)$

$q_i$

— Cliff AB
fonte

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@ Tim: sim, a segunda parte da resposta é mais uma nota lateral interessante do que uma resposta concisa. Mas pode ser uma maneira útil de ver isso; afinal, é basicamente assim que seu computador simula dados desses modelos!

— Cliff AB