12

Estou estudando como construir um intervalo de confiança de 95% para odds ratio a partir dos coeficientes obtidos na regressão logística. Portanto, considerando o modelo de regressão logística,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

de tal modo que $x = 0$ para o grupo de controlo e $x = 1$ para o caso do grupo.

Eu já li que a maneira mais simples é construir um IC 95% para $\beta$ e aplicamos a função exponencial, ou seja,

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Minhas perguntas são:

Qual o motivo teórico que justifica esse procedimento? Eu sei $\mbox{odds ratio} = \exp\{\beta\}$ e estimadores de probabilidade máxima são invariantes. No entanto, não conheço a conexão entre esses elementos.
O método delta deve produzir o mesmo intervalo de confiança de 95% que o procedimento anterior? Usando o método delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Então,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Caso contrário, qual é o melhor procedimento?

— Márcio Augusto Diniz
fonte

1

Também gosto do bootstrap para IC, se tiver valores de parâmetros ou dados de treinamento de tamanho suficiente.

— EngrStudent - Reintegrar Monica

2

Há uma maneira melhor de fazer isso, consulte stats.stackexchange.com/questions/5304/... para mais detalhes

— mdewey

7

A justificativa para o procedimento é a normalidade assintótica do LEM para $\beta$ e resulta de argumentos envolvendo o Teorema do Limite Central.
O método Delta vem de uma expansão linear (ie Taylor de primeira ordem) da função ao redor do MLE. Posteriormente, apelamos para a normalidade assintótica e imparcialidade do MLE.

Assintoticamente, ambos dão a mesma resposta. Mas, na prática, você preferiria o que parece mais normal. Neste exemplo, eu preferiria o primeiro porque é provável que o último seja menos simétrico.

— Amir
fonte

3

Uma comparação de métodos de intervalos de confiança em um exemplo do ISL

O livro "Introdução à aprendizagem estatística", de Tibshirani, James, Hastie, fornece um exemplo na página 267 de intervalos de confiança para o grau de regressão logística polinomial 4 nos dados salariais . Citando o livro:

Modelamos o evento binário por meio de regressão logística com um polinômio grau-4. A probabilidade posterior ajustada de salário superior a US $ 250.000 é mostrada em azul, juntamente com um intervalo estimado de confiança de 95%. $wage>250$

Abaixo está uma rápida recapitulação de dois métodos para construir esses intervalos, bem como comentários sobre como implementá-los do zero

Intervalos de transformação Wald / Endpoint

Calcular os limites superior e inferior do intervalo de confiança para a combinação linear $x^T\beta$ (usando o Wald CI)
Aplique uma transformação monotônica aos pontos extremos para obter as probabilidades. $F(x^T\beta)$

Como é uma transformação monotônica de $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Concretamente, isso significa calcular e depois aplicar a conversão logit ao resultado para obter os limites inferior e superior: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Computando o erro padrão

$x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Define the design matrix $X$ and the matrix $V$ as

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

where $x_{i,j}$ is the value of the $j$ th variable for the $i$ th observations and $\hat{\pi}_{i}$ represents the predicted probability for observation $i$ .

The covariance matrix can then be found as: $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ and the standard error as $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

The 95% confidence intervals for the predicted probability can then be plotted as

Delta method confidence intervals

The approach is to compute the variance of a linear approximation of the function $F$ and use this to construct large sample confidence intervals.

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Where $\nabla$ is the gradient and $\Sigma$ the estimated covariance matrix. Note that in one dimension:

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Where $f$ is the derivative of $F$ . This generalizes in the multivariate case

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

In our case F is the logistic function (which we will denote $\pi(x^T\beta)$ ) whose derivative is

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

We can now construct a confidence interval using the variance computed above.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

In vector form for the multivariate case

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Note that $\mathbf{x}$ represent a single data point in $\mathbb{R}^{p+1}$ , i.e. a single row of the design matrix $X$

A open ended conclusion

A look at the Normal QQ plots for both the probabilities and the negative log odds show that neither are normally distributed. Could this explain the difference ?

Source:

— Xavier Bourret Sicotte
fonte

1

For most purposes the simplest way is probably best, as discussed in the context of a log transform on this page. Think about your dependent variable as being analyzed in the logit scale, with statistical tests performed and confidence intervals (CI) defined on that logit scale. The back transformation to odds ratio is simply to put those results into a scale that a reader might more readily grasp. This is also done, for example, in Cox survival analysis, where the regression coefficients (and the 95% CI) are exponentiated to obtain hazard ratios and their CI.

— EdM
fonte

Diferentes maneiras de produzir um intervalo de confiança para o odds ratio a partir da regressão logística

Uma comparação de métodos de intervalos de confiança em um exemplo do ISL

Intervalos de transformação Wald / Endpoint

Computando o erro padrão

Delta method confidence intervals

A open ended conclusion