Qual é a distribuição do estimador de máxima verossimilhança (arbitrariamente) ponderado?

7

Suponha que você observe o vetor de variáveis independentes e variáveis dependentes de , com probabilidade . Suponha que sejam independentes. Além disso, suponha que você receba pesos positivos , que são arbitrários, e calcule o Estimador de Máxima Verossimilhança ponderado (WMLE?): Qual é a distribuição do WMLE, ? $X_i$ $y_i$ $l\left(\theta;X_i,y_i\right)$ $y_i$ $w_i$

\hat{θ} = \arg max_{θ} \sum_{1 \leq i \leq n} w_{i} \log l (θ; X_{i}, y_{i}) .

$\hat{\theta} = \arg \max_{\theta} \sum_{1\le i\le n} w_i \log l\left(\theta;X_i,y_i\right).$

\hat{θ}

$\hat{\theta}$

Se eu puder complicar ainda mais a questão sem dividi-la em duas, há dois casos a considerar:

O $w_i$ é completamente independente do $X_i$ e $y_i$ .
O $w_i$ depende da variável dependente $y_i$ de alguma forma (talvez determinística ou estocástica).

— steveo'america
fonte

2

Em geral, sua pergunta não tem resposta. Existem algumas razões.

1) Suponha que todos . Mesmo nesse caso, a distribuição da estimativa do MLE depende da distribuição dos dados, ou seja, da função . Por exemplo, é possível provar que na família exponencial de distribuições, combinada com mais algumas restrições, a estimativa do MLE é assintoticamente normal. No entanto, uma vez que está fora da família exponencial, tudo pode acontecer. $w_i = 1$ $l(\theta;x,y)$ $l(\theta;x,y)$

2) Mesmo que esteja na família exponencial, a presença de pesos (especialmente se forem dependentes de x e Y) é muito provável que invalide os resultados da distribuição assintótica. $l(\theta;x,y)$

— Nik Tuzov
fonte

Vamos supor que estamos trabalhando dentro da Família Exponencial. Existem resultados para o caso de total independência dos pesos e do ?

X, y

$X, y$

— Steveo'america

11

Eu acho que você está abordando isso de um lado errado. Existem maneiras de incorporar pesos de observação, mas, pelo que sei, as pessoas não atribuem pesos aos termos de probabilidade de logon. Nos resultados que eu conheço, eles assumem que a variação da resposta não é igual entre as observações e pode ser dependente de X. Em seguida, anotam a probabilidade correspondente e vêem aonde elas as levam. Você pode encontrar um exemplo aqui: stats.stackexchange.com/questions/118243/…

— Nik Tuzov

2

Em geral, a resposta de Nik Tuzov está correta, mas alguns detalhes não estão completamente corretos. Em resumo, a distribuição do WMLE é desconhecida. Você pode escrever a equação real para o MLE (pesos ou nenhum) e escrever a derivada completa para determinar o (s) ponto (s) extremo (s) máximo (s). O que fornece uma resposta computacional - mas sem o conhecimento específico da distribuição subjacente, você não pode executá-la.

Na verdade, a presença dos pesos não muda muito a questão, pois você ainda precisa calcular a derivada. O uso típico de LE na ciência aplicada é exatamente com pesos que dependem dos experimentos / resultados da contagem de pensamentos Y distribuídos como Poissonianos com incertezas associadas que atuam como pesos.

Na aplicação prática, onde o LE é realizado numericamente, uma aproximação típica é uma forma parabólica em torno do valor máximo. Você pode interpretar isso como "distribuição normal" ou como o primeiro elemento que não desaparece da expansão de Taylor. Mas, além de casos especiais, não é preciso (e pode ser determinado muito melhor, mesmo numericamente).

Portanto: em casos simples para a distribuição subjacente, você pode derivar uma descrição analítica para a distribuição resultante - para onde a série realmente converge. Caso contrário: não, então, em geral, também: não.

— querubim
fonte