O MLE requer dados iid? Ou apenas parâmetros independentes?

16

Estimar parâmetros usando a estimativa de máxima verossimilhança (MLE) envolve avaliar a função de verossimilhança, que mapeia a probabilidade da amostra (X) ocorrer para valores (x) no espaço de parâmetros (θ), dada uma família de distribuição (P (X = x | θ ) sobre os valores possíveis de θ (nota: estou certo nisso?) .Todos os exemplos que eu vi envolvem o cálculo de P (X = x | θ) tomando o produto de F (X) onde F é a distribuição com o local o valor para θ e X é a amostra (um vetor).

Como estamos apenas multiplicando os dados, segue-se que os dados são independentes? Por exemplo, não poderíamos usar o MLE para ajustar dados de séries temporais? Ou os parâmetros apenas precisam ser independentes?

maximum-likelihood

— Felix
fonte

14

A função de verossimilhança é definida como a probabilidade de um evento (conjunto de dados ) como uma função dos parâmetros do modelo $E$ ${\bf x}$ $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

Portanto, não há suposição de independência das observações. Na abordagem clássica, não há definição para independência de parâmetros, pois eles não são variáveis aleatórias; alguns conceitos relacionados podem ser identificabilidade , ortogonalidade de parâmetros e independência dos estimadores de máxima verossimilhança (que são variáveis aleatórias).

Alguns exemplos,

(1) Caso discreto . é uma amostra de observações discretas (independentes) com , em seguida, ${\bf x}=(x_1,...,x_n)$ ${\mathbb P}(\text{observing } x_j ; \theta)>0$

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

Particularmente, se , com conhecido, temos esse $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2) Aproximação contínua . Seja uma amostra de uma variável aleatória contínua , com distribuição e densidade , com erro de medição , isto é, você observa os conjuntos . Então ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

Quando é pequeno, isso pode ser aproximado (usando o Teorema do Valor Médio) por $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

Para um exemplo com o caso normal, dê uma olhada nisso .

(3) Modelo dependente e Markov . Suponha que seja um conjunto de observações possivelmente dependente e seja a densidade conjunta de ; ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

Se adicionalmente a propriedade Markov for satisfeita,

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

Veja também isso .

— Comunidade
fonte

3

Desde que você escreve a função de probabilidade como um produto, você assume implicitamente uma estrutura de dependência entre as observações. Portanto, para o MLE, são necessárias duas suposições (a) uma sobre a distribuição de cada resultado individual e (b) uma sobre a dependência entre os resultados.

10

(+1) Muito boa pergunta.

Além disso, o MLE significa estimativa de probabilidade máxima (não múltipla), o que significa que você apenas maximiza a probabilidade. Isso não especifica que a probabilidade deve ser produzida pela amostragem do IID.

Se a dependência da amostragem puder ser escrita no modelo estatístico, basta escrever a probabilidade de acordo e maximizá-la como de costume.

O único caso que vale a pena mencionar quando você não assume dependência é o da amostragem gaussiana multivariada (na análise de séries temporais, por exemplo). A dependência entre duas variáveis gaussianas pode ser modelada pelo seu termo de covariância, que você incorpora na probabilidade.

Para dar um exemplo simplista, suponha que você tire uma amostra do tamanho de variáveis Gaussianas correlacionadas com a mesma média e variância. Você escreveria a probabilidade como $2$

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

onde é $z$

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

Este não é o produto das probabilidades individuais. Ainda assim, você maximizaria isso com parâmetros para obter o MLE. $(\mu, \sigma, \rho)$

— gui11aume
fonte

2

Estas são boas respostas e exemplos. A única coisa que eu acrescentaria para ver isso em termos simples é que a estimativa de probabilidade requer apenas que um modelo para a geração dos dados seja especificado em termos de alguns parâmetros desconhecidos seja descrito em forma funcional.

— Michael R. Chernick

(+1) Absolutamente verdade! Você tem um exemplo de modelo que não pode ser especificado nesses termos?

— gui11aume

@ gu11aume Eu acho que você está se referindo à minha observação. Eu diria que não estava dando uma resposta direta à pergunta. A resposta à pergunta é sim, porque existem exemplos que podem ser mostrados onde a função de probabilidade pode ser expressa quando os dados são gerados por variáveis aleatórias dependentes.

— Michael R. Chernick

2

Exemplos onde isso não pode ser feito seria onde os dados são fornecidos sem nenhuma descrição do mecanismo de geração de dados ou o modelo não é apresentado de forma paramétrica, como quando você recebe dois conjuntos de dados iid e é solicitado a testar se eles são provenientes de a mesma distribuição em que você especifica apenas que as distribuições são absolutamente contínuas.

— Michael R. Chernick

4

Obviamente, os modelos gaussianos de ARMA possuem uma probabilidade, pois sua função de covariância pode ser derivada explicitamente. Isso é basicamente uma extensão da resposta do gui11ame a mais de 2 observações. A busca mínima no Google produz documentos como este, onde a probabilidade é dada na forma geral.

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$

j

$j$

i

$i$

j

$j$

i

$i$

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$

y_{i j}

$y_{ij}$

— StasK
fonte

2

Stask e @ gui11aume, essas três respostas são boas, mas acho que elas perdem um ponto: e a consistência do MLE para dados dependentes?

— Stéphane Laurent