comparação lme e lmer

Fiquei me perguntando se alguém poderia me esclarecer sobre as diferenças atuais entre essas duas funções. Encontrei a seguinte pergunta: Como escolher a biblioteca nlme ou lme4 R para modelos de efeitos mistos? , mas isso data de alguns anos atrás. Essa é a vida inteira nos círculos de software.

Minhas perguntas específicas são:

Existem (ainda) estruturas de correlação lmeque lmernão tratam?
É possível / recomendado usar lmerpara dados do painel?

Desculpas se estas são um pouco básicas.

Um pouco mais detalhadamente: os dados do painel são onde temos várias medidas nos mesmos indivíduos, em diferentes momentos. Geralmente trabalho em um contexto de negócios, onde você pode ter dados para clientes repetidos / de longo prazo por vários anos. Queremos permitir variações ao longo do tempo, mas ajustar claramente uma variável fictícia para cada mês ou ano é ineficiente. No entanto, não estou claro se lmeré a ferramenta apropriada para esse tipo de dados ou se preciso das estruturas de correlação automática que lmepossuem.

r mixed-model lme4-nlme

— Hong Ooi
fonte

Essa resposta ainda está atualizada. lmerainda não lida com a variedade de estruturas de correlação e variação que o lmefazem e, como eu entendo a situação, provavelmente nunca será.

— Aaron - Restabelece Monica

@ Aaron Obrigado pela resposta. Para a segunda parte, isso afeta lmera capacidade de lidar com o conjunto de dados do painel? Ou posso fugir sem fazer suposições de correlação específicas?

— Hong Ooi 13/07/2013

@ Aaron, eu não sei sobre "nunca vou" lidar com estruturas corr / var - estou interessado em adicionar esses recursos e não acho que seria tão difícil - mas eu certamente diria "não segure sua respiração". Não estou familiarizado o suficiente com os dados do painel para saber o que seria necessário para lmerlidar com eles ... Hong, você pode adicionar uma breve explicação à pergunta que descreve as propriedades estatísticas necessárias com um pouco mais de detalhes ou fornece indicadores?

— precisa

@BenBolker Adicionados alguns detalhes.

— Hong Ooi 13/07/2013

Eu diria lmerque seria muito bom com um efeito aleatório do ano e um efeito aleatório do cliente (digamos que você tenha apenas uma medida por cliente por ano); se você tiver uma tendência geral (efeito fixo) do tempo, considere também uma interação aleatória de tempo por cliente (ou seja, inclinações aleatórias). Idealmente, você também quiser permitir autocorrelação temporal, dentro da série de tempo de cada cliente, que é no momento não é possível com lmer, mas você pode verificar a função de autocorrelação temporal, para ver se isso era importante ...

— Ben Bolker

Respostas:

ATUALIZAÇÃO DE JUNHO DE 2016:

Por favor, consulte a entrada do blog de Ben, descrevendo seus pensamentos atuais sobre isso em lme4: Braindump 01 June 2016

Se você preferir métodos bayesianos, o brmspacote brmsuporta algumas estruturas de correlação: página CRAN brms . (Observe especialmente: "A partir da versão 0.6.0 do brms, a estrutura AR refere-se a efeitos autoregressivos de resíduos para corresponder à nomeação e implementação em outros pacotes como o nlme. Anteriormente, o termo AR em brms referia-se a efeitos autoregressivos da resposta. Os últimos agora são nomeados efeitos de ARR e podem ser modelados usando o argumento r nas funções cor_arma e cor_arr. ")

RESPOSTA ORIGINAL JULHO DE 2013:

(Convertido de um comentário.)

Eu diria lmerque seria muito bom com um efeito aleatório do ano e um efeito aleatório do cliente (digamos que você tenha apenas uma medida por cliente por ano);

lmer(y~1 + (1|year) + (1|customer), ...)

caberia no modelo (somente interceptação)

Y_{i j} \sim Normal (a + ϵ_{year, i} + ϵ_{customer, j}, σ_{0}^{2})

$Y_{ij} \sim \text{Normal}(a + \epsilon_{\text{year},i} + \epsilon_{\text{customer},j}, \sigma^2_0)$ onde e são variáveis normais com média zero e suas próprias variações específicas.

ϵ_{year}

$\epsilon_{\text{year}}$

ϵ_{customer}

$\epsilon_{\text{customer}}$

Este é um modelo bastante chato, você pode adicionar uma tendência geral de tempo fixo (efeito fixo) e também considerar uma interação aleatória de tempo por cliente (ou seja, inclinações aleatórias). eu acho que

lmer(y~year + (1|year) + (year|customer), ...)

deve se encaixar no modelo

Y_{Eu j} \sim Normal ((uma + ϵ_{cliente, j}) + (b + ϵ_{ano \times cliente, j}) \cdot ano + ϵ_{ano, Eu}, σ_{0 0}^{2})

$Y_{ij} \sim \text{Normal}((a + \epsilon_{\text{customer},j}) + (b + \epsilon_{\text{year} \times \text{customer},j}) \cdot \text{year} + \epsilon_{\text{year},i}, \sigma^2_0)$

(usar yeardessa maneira é uma exceção à regra usual de não incluir uma variável de entrada como efeito ajustado e aleatório no mesmo modelo; desde que seja uma variável numérica, yearé tratada como contínua no efeito fixo e a year:customer(aleatória) interação e como categórica no efeito aleatório ...)

É claro que você pode querer adicionar covariáveis em nível de ano, cliente e observação, o que absorveria algumas das variações relevantes (por exemplo, adicione um índice médio de preços ao consumidor para explicar por que os anos foram ruins ou bons ...)

Idealmente, você também desejaria permitir a autocorrelação temporal nas séries temporais de cada cliente, o que não é possível no momento lmer, mas você pode verificar a função de autocorrelação temporal para ver se isso é importante ...

Advertência : não sei muito sobre abordagens padrão para lidar com dados do painel; isso é baseado apenas no meu conhecimento de modelos mistos. Os comentaristas (ou editores) devem se sentir à vontade para conversar, se isso parecer violar as práticas recomendadas / padrão em econometria.

— Ben Bolker
fonte

A menos que isso seja notação estranha - geralmente significa que a distribuição marginal de é normal com média e variância - acho que suas equações não estão certas. O que você escreveu são distribuições condicionais, dados os efeitos aleatórios. A distribuição marginal de no primeiro modelo é No segundo modelo, a média marginal é e a variação é uma expressão mais complicada que envolve a covariância entre a inclinação / interceptação aleatória do ano mais as outras coisas.

X \sim N (μ, σ^{2})

$X \sim N(\mu, \sigma^2)$

X

$X$

μ

$\mu$

σ^{2}

$\sigma^2$

Y_{i j}

$Y_{ij}$

N (uma, σ_{0 0}^{2} + σ_{y e uma r}^{2} + σ_{c você s t}^{2})

$N(a,\sigma^{2}_0 + \sigma^{2}_{year} + \sigma^{2}_{cust})$

a + b \cdot y e a r

$a+b \cdot {\rm year}$

— Macro

Sim, obrigado Ben. Na prática, também haveria efeitos fixos, por exemplo, idade, sexo e todos os suspeitos comuns. @ Macro: Ben está certo, acredito.

— Hong Ooi

@ Macro: Eu acho que a notação é estranha / incomum, mas correta (ou seja, equivalente ao que você sugere.) Expressei os termos de efeito aleatório como parte de . Provavelmente seria mais claro / familiar se eu o escrevesse em notação multinível ( ).

μ

$\mu$

Y \sim Normal (X β + Z u, σ^{2}); u \sim MVNormal (0, Σ); Σ = f (θ)

$Y \sim \text{Normal}(X \beta + Z u, \sigma^2); u \sim \text{MVNormal}(0,\Sigma); \Sigma=f(\theta)$

— Ben Bolker 13/07/2013

@BenBolker: você notou que eu coloquei uma recompensa nessa questão, porque estou procurando uma atualização em potencial ?

— S. Kolassa - Restabelece Monica

Acabei de publicar algumas coisas nas quais trabalho recentemente em rawgit.com/bbolker/mixedmodels-misc/master/notes/… ; Vou tentar dar a volta a incorporação de bits relevantes na minha resposta (alternativamente, qualquer outra pessoa é bem-vinda a qualquer postar sua própria resposta com base nessa informação, ou editar o meu qestion!)

— Ben Bolker

Para responder suas perguntas diretamente, e NB, isso é anos após o post original!

Sim, ainda existem estruturas de correlação que o nlme lida com as quais o lme4 não lida. No entanto, enquanto o nlme permitir que o usuário defina corstrs gerais e o lme4 não, esse será o caso. Isso tem surpreendentemente pouco impacto prático. As "três grandes" estruturas de correlação de: estruturas de correlação independentes, intercambiáveis e AR-1 são fáceis de manusear pelos dois pacotes.
Certamente é possível . Você também pode ajustar os dados do painel com a lmfunção! Minha recomendação sobre qual usar depende do problema. lme4é um kit de ferramentas muito menor e a representação da fórmula é uma maneira clara e concisa de descrever alguns modelos de efeitos mistos muito comuns. nlmeé a caixa de ferramentas muito grande, incluindo um soldador TIG para fazer as ferramentas necessárias.

Você diz que deseja permitir "variações ao longo do tempo". Essencialmente, uma estrutura de correlação intercambiável consegue isso, permitindo uma interceptação aleatória em cada cluster, para que a variação intracluster seja a soma da variação no nível do cluster, bem como a variação (o que você chama) ao longo do tempo. E isso não impede você de usar efeitos fixos para obter previsões mais precisas ao longo do tempo.

— AdamO
fonte

Hmm. Como se pode usar a correlação AR-1 no lme4?

— Ameba diz Reinstate Monica