mínimos quadrados não lineares versus probabilidade máxima em R, nls () ou nlm ()?

Estou estimando o modelo onde e são parâmetros , é um vetor de parâmetros length, é uma matriz de dados , a variável dependente é binária e é um modelo probit, portanto, a função de distribuição cumulativa da normal normal distribuição. Para derivar a expectativa, assumiu-se que os erros são normais e com média zero.

E (Y | X) = P r (Y = 1 | X) = α_{0} + (1 - α_{0} - α_{1}) ϕ (X^{'} β),

$E(Y|X) = Pr(Y=1|X) = \alpha_0 + (1 - \alpha_0 - \alpha_1)\phi(X'\beta),$

α_{0}

$\alpha_0$

α_{1}

$\alpha_1$

β

$\beta$

p

$p$

X

$X$

p \times n

$p \times n$

Y

$Y$

ϕ ()

$\phi()$

A fonte do modelo está aqui (veja as equações 6 e 7) e, pelo trabalho, posso estimar o modelo por meio de mínimos quadrados não lineares ou máxima verossimilhança. Tentei ambas as abordagens em R, usando a nls()função para mínimos quadrados não lineares e a nlm()função para máxima probabilidade. A experiência sugere que os resultados são muito semelhantes para minha aplicação, mas nls()são mais rápidos. Existe uma razão para favorecer uma abordagem sobre a outra? Como devo pensar em escolher um método, por exemplo, suposições semelhantes subjacentes às duas abordagens?

Todas as sugestões para refletir sobre as diferenças entre essas duas abordagens ou sugestões de literatura relevante a serem consultadas serão muito apreciadas.

r maximum-likelihood nonlinear nls

— gfgm
fonte

Com relação à solução mais rápida, você garantiu que nls e nlm usassem o mesmo otimizador? Se você usasse um optometrista diferente, isso poderia explicar por que um seria mais rápido que o outro.

— forecaster

Boa pergunta. Eu não verifiquei isso - vou investigar. A velocidade não é tão importante em meu aplicativo que eu estaria mal disposto a usar qualquer um dos modelos. Estou mais interessado em saber se existem razões teóricas para preferir uma à outra.

— Gfgm

Que tipo de variável é ? É numérico, categórico, binário, etc.? O que é ? E qual é o seu modelo estatístico? O que você escreveu não é um modelo - não há termo de erro. No máximo, poderia ser uma expressão para a média condicional de em relação a . Se é uma variável aleatória contínua e você assume erros aditivos de Gauss com média zero e variação constante, o estimador NLS e o MLE são os mesmos.

y

$y$

ϕ

$\phi$

y

$y$

x

$x$

y

$y$

— DeltaIV

Obrigado @DeltaIV, editei o post para torná-lo mais claro. É uma expressão da média condicional de y em relação a x, como você supôs, e y é binário.

— Gfgm

Para derivar a expectativa, assumiu-se que os erros são normais e com média zero.

Se essa é sua suposição, o MLE e o NLS devem ser matematicamente idênticos e as diferenças provavelmente serão explicadas pela escolha / configuração do otimizador.

Se uma distribuição normal para uma resposta binária é uma boa ideia é outra questão. Uma alternativa seria um gerenciamento logístico com seu preditor não linear, estimado com MLE.

Se você usa o MLE, considere usar https://cran.r-project.org/web/packages/bbmle/index.html em vez de nlm (), mais opções para ICs e assim por diante.

— Florian Hartig
fonte