Seleção de modelos com regressão logística Firth

Em um pequeno conjunto de dados ( ) com o qual estou trabalhando, várias variáveis me proporcionam uma perfeita previsão / separação . Assim, uso a regressão logística Firth para lidar com o problema. $n\sim100$

Se eu selecionar o melhor modelo por AIC ou BIC , devo incluir o termo de penalidade de Firth na probabilidade ao calcular esses critérios de informação?

— StasK
fonte

Você se importaria de explicar por que isso é inevitável, uma vez que a seleção de variáveis não ajuda no problema de "muitas variáveis, muito pouco tamanho de amostra"?

— Frank Harrell

Isso é tão ruim quanto parece.

— Frank Harrell

Você já pensou em tratar isso como um problema de inferência bayesiana? A regressão logística do parto é equivalente ao MAP com jeffreys anteriores. Você pode usar o totalmente Laplace aproximação evalute probabilidades marginais - que é como um BIC ajustado (semelhante ao AICc)

— probabilityislogic

@user, Como essas variáveis costumam prever apenas alguns casos, e isso é improdutível: a verdadeira probabilidade dessa célula pode estar perto de 90%, mas com apenas dois casos, você terá dois casos 81% das vezes .

— StasK

Link para o download K & K (1996) papel encontrado no Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos Papadopoulos

$n \to \infty$

p_{y} (y) = \int eu (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Como observação lateral, a regressão de Firth também remove o viés de primeira ordem nas famílias exponenciais.

— lbelzile
fonte