Qual é a diferença matemática entre efeitos aleatórios e fixos?

Eu descobri muito na internet sobre a interpretação de efeitos aleatórios e fixos. No entanto, não foi possível obter uma fonte identificando o seguinte:

Qual é a diferença matemática entre efeitos aleatórios e fixos?

Com isso, quero dizer a formulação matemática do modelo e a maneira como os parâmetros são estimados.

O modelo mais simples com efeitos aleatórios é o modelo ANOVA unidirecional com efeitos aleatórios, dado por observações com premissas distributivas: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Aqui os efeitos aleatórios são os . São variáveis ​​aleatórias, enquanto são números fixos no modelo ANOVA com efeitos fixos.$\mu_i$

Por exemplo, cada um dos três técnicos em um laboratório registra uma série de medições, e y i j é a j- ésima medida do técnico i . Chame μ i o "verdadeiro valor médio" da série gerada pelo técnico i ; este é um parâmetro pouco artificial, você pode ver μ i como o valor médio que técnico i teria sido obtido se ele / ela tinha gravado uma enorme série de medições.$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Se você estiver interessado em avaliar , µ 2 , µ 3 (por exemplo, para avaliar o viés entre operadores), será necessário usar o modelo ANOVA com efeitos fixos.$\mu_1$$\mu_2$$\mu_3$

Você deve usar o modelo ANOVA com efeitos aleatórios quando estiver interessado nas variações e σ 2 b que definem o modelo e na variação total σ 2 b + σ 2 w (veja abaixo). A variação σ 2 w é a variação das gravações geradas por um técnico (é assumido o mesmo para todos os técnicos) e σ $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$ é chamado de variação entre os técnicos. Talvez o ideal seja que os técnicos sejam selecionados aleatoriamente.$\sigma^2_b$

Este modelo reflete a fórmula de decomposição de variância para uma amostra de dados:

Variação total = variação das médias médias das intra-variações$+$

o que é refletido pelo modelo ANOVA com efeitos aleatórios:

De fato, a distribuição de é definida por sua distribuição condicional ( y i j ) dada μ i e pela distribuição de μ i . Se alguém calcular a distribuição "incondicional" de y i j, então encontraremos y i j ∼ N ( μ , σ 2 b + σ 2 w ) .$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Vejo slides 24 e 25 aqui para obter melhores fotos (você precisa salvar o arquivo pdf para apreciar as sobreposições, não assista à versão online).

Basicamente, o que eu acho que é a diferença mais distinta se você modelar um fator como aleatório, é que se supõe que os efeitos sejam extraídos de uma distribuição normal comum.

Por exemplo, se você tem algum tipo de modelo em relação às notas e deseja contabilizar os dados dos alunos provenientes de escolas diferentes e você modela a escola como um fator aleatório, isso significa que você assume que as médias por escola são normalmente distribuídas. Isso significa que duas fontes de variação são a modelagem: a variabilidade na escola das notas dos alunos e a variabilidade entre as escolas.

Isso resulta em algo chamado pool parcial . Considere dois extremos:

1. A escola não tem nenhum efeito (entre a variabilidade da escola é zero). Nesse caso, um modelo linear que não considera a escola seria o ideal.
2. A variabilidade escolar é maior que a variabilidade do aluno. Então, você basicamente precisa trabalhar no nível da escola, e não no nível dos alunos (menos # amostras). Este é basicamente o modelo em que você considera a escola usando efeitos fixos. Isso pode ser problemático se você tiver poucas amostras por escola.

Ao estimar a variabilidade em ambos os níveis, o modelo misto cria um compromisso inteligente entre essas duas abordagens. Especialmente se você tiver um número de alunos não tão grande por escola, isso significa que você reduzirá os efeitos de cada escola, conforme estimado pelo modelo 2, em relação à média geral do modelo 1.

Isso ocorre porque os modelos dizem que, se você tem uma escola com dois alunos, o que é melhor do que o que é "normal" para a população de escolas, é provável que parte desse efeito seja explicada pelo fato de a escola ter tido sorte na escolha. dos dois alunos olhou. Isso não é feito às cegas, depende da estimativa da variabilidade dentro da escola. Isso também significa que os níveis de efeito com menos amostras são mais fortemente atraídos para a média geral do que as escolas grandes.

O importante é que você precisa de permutabilidade nos níveis do fator aleatório. Isso significa que, neste caso, as escolas são (pelo seu conhecimento) permutáveis ​​e você não sabe nada que as faça distintas (exceto algum tipo de identificação). Se você tiver informações adicionais, poderá incluir isso como um fator adicional, basta que as escolas sejam permutáveis ​​sob condição de outras informações contadas.

Por exemplo, faria sentido supor que adultos de 30 anos que moram em Nova York sejam permutáveis, dependendo do sexo. Se você tiver mais informações (idade, etnia, educação), faria sentido incluir essas informações também.

OTH, se você estudou com um grupo controle e três grupos de doenças muito diferentes, não faz sentido modelar o grupo como aleatório, pois doenças específicas não são permutáveis. No entanto, muitas pessoas gostam tão bem do efeito de encolhimento que ainda argumentariam por um modelo de efeitos aleatórios, mas isso é outra história.

Percebo que não entendi muito da matemática, mas basicamente a diferença é que o modelo de efeitos aleatórios estimou um erro normalmente distribuído tanto no nível das escolas quanto no nível dos alunos, enquanto o modelo de efeito fixo apresenta apenas o erro. o nível dos alunos. Especialmente, isso significa que cada escola tem seu próprio nível que não está conectado aos outros níveis por uma distribuição comum. Isso também significa que o modelo fixo não permite extrapolar para um aluno da escola não incluído nos dados originais, enquanto o modelo de efeito aleatório o faz, com uma variabilidade que é a soma do nível do aluno e da variabilidade do nível da escola. Se você estiver especificamente interessado na probabilidade, podemos trabalhar nisso.

Na economia, esses efeitos são interceptações (ou constantes) específicas do indivíduo que não são observadas, mas podem ser estimadas usando dados em painel (observação repetida nas mesmas unidades ao longo do tempo). O método de estimativa de efeitos fixos permite correlação entre as interceptações específicas da unidade e as variáveis ​​explicativas independentes. Os efeitos aleatórios não. O custo do uso dos efeitos fixos mais flexíveis é que você não pode estimar o coeficiente em variáveis ​​que são invariantes no tempo (como sexo, religião ou raça).

NB Outros campos têm sua própria terminologia, o que pode ser bastante confuso.

Em um pacote de software padrão (por exemplo, R's lmer), a diferença básica é:

• efeitos fixos são estimados por máxima verossimilhança (mínimos quadrados para um modelo linear)
• efeitos aleatórios são estimados por Bayes empírico (mínimos quadrados com alguma contração para um modelo linear, em que o parâmetro de contração é escolhido pela máxima probabilidade)

Se você está sendo bayesiano (por exemplo, WinBUGS), então não há diferença real.

@Joke Um modelo de efeitos fixos implica que o tamanho do efeito gerado por um estudo (ou experimento) é fixo, isto é, medidas repetidas para uma intervenção resultam no mesmo tamanho de efeito. Presumivelmente, as condições externas e internas do experimento não mudam. Se você tiver vários estudos e / ou estudos sob diferentes condições, terá diferentes tamanhos de efeito. As estimativas paramétricas de média e variância para um conjunto de tamanhos de efeito podem ser realizadas presumindo-se que sejam efeitos fixos ou efeitos aleatórios (realizados a partir de uma superpopulação). Eu acho que é uma questão que pode ser resolvida com a ajuda da estatística matemática.