Função de probabilidade máxima para distribuição de tipo misto

Em geral, maximizamos uma função

$$L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta)$$

onde $f$ é a função de densidade de probabilidade se a distribuição subjacente for contínua e uma função de massa de probabilidade (com soma em vez de produto) se a distribuição for discreta.

Como podemos especificar a função de probabilidade se a distribuição subjacente é uma mistura entre uma distribuição contínua e uma discreta, com os pesos de cada um dependendo de $\theta$ ?

A função de verossimilhança é a densidade dos dados no valor observado x expresso como uma função de θ ℓ ( θ | x ) = f ( x | θ ) Essa densidade é definida para todos os valores (aceitáveis) de θ quase todo lugar sobre o suporte de x , X , contra uma medida específica sobre X que não depende de θ . Para qualquer família paramétrica, deve existir uma medida dominante em todos os $\ell(\theta|\mathbf{x})$$\mathbf{x}$$\theta$

$$\ell(\theta|\mathbf{x})=f(\mathbf{x}|\theta)$$ $\theta$$\mathbf{x}$$\mathfrak{X}$$\mathfrak{X}$$\theta$$\theta$é, portanto, uma densidade, portanto, uma probabilidade.

Aqui está um trecho relevante da entrada da Wikipedia sobre funções de probabilidade (o estresse é meu):

Na teoria da probabilidade teórica da medida, a função densidade é definida como o derivado de Radon-Nikodym da distribuição de probabilidade em relação a uma medida dominante. Isso fornece uma função de probabilidade para qualquer modelo de probabilidade com todas as distribuições, sejam discretas, absolutamente contínuas, uma mistura ou qualquer outra coisa. (As probabilidades serão comparáveis, por exemplo, para estimativa de parâmetros, apenas se forem derivados de Radon-Nikodym com relação à mesma medida dominante.)

Admito que fiquei intrigado com essa questão já há algum tempo na minha carreira. Uma maneira de me convencer da resposta era adotar uma visão extremamente prática e aplicada da situação, uma visão que reconhece que nenhuma medida é perfeita. Vamos ver aonde isso pode levar.

O objetivo deste exercício é expor as suposições que podem ser necessárias para justificar a mistura um tanto simplista de densidades e probabilidades nas expressões de probabilidade. Destacarei, portanto, essas suposições onde quer que sejam introduzidas. Acontece que alguns são necessários, mas são bastante leves e cobrem todos os aplicativos que encontrei (o que obviamente será limitado, mas ainda inclui alguns).

O problema diz respeito a uma distribuição mista $F,$ que não é absolutamente contínua nem singular. O Teorema da Decomposição de Lebesgue nos permite ver tal distribuição como uma mistura de uma distribuição absolutamente contínua (que por definição possui uma função de densidade $f_a$ ) e uma singular ("discreta"), que possui uma função de massa de probabilidade $f_d.$ (Ignorarei a possibilidade de que um terceiro componente contínuo, mas não absolutamente contínuo, possa estar presente. Aqueles que usam esses modelos tendem a saber o que estão fazendo e geralmente têm todas as habilidades técnicas para justificá-los.)

Quando $F = F_\theta$ é um membro de uma família paramétrica de distribuições, podemos escrever

$$F_\theta(x) = F_{a\theta}(x) + F_{d\theta}(x) = \int_{\infty}^x f_a(t;\theta)\mathrm{d}t + \sum_{t \le x} f_d(t;\theta).$$

(A soma é no máximo contável, é claro.) Aqui, $f_a(\,;\theta)$ é uma função de densidade de probabilidade multiplicado por um coeficiente mistura$\lambda(\theta)$ e$f_d(\,;\theta)$ é uma função de massa de probabilidade multiplicada por$1-\lambda(\theta).$

Vamos interpretar qualquer observação $x_i$ em um conjunto de dados iid $X=(x_1,x_2,\ldots, x_n)$ como "realmente", o que significa que temos certo conhecimento de que um valor subjacente hipotético verdadeiro $y_i$ encontra em um intervalo $(x_i-\delta_i, x_i+\epsilon_i]$ circundam $x_i,$ mas , caso contrário, não têm informações sobre $y_i.$ Supondo que conheçamos todos os deltas e epsilons, isso não apresenta mais problemas para construir uma probabilidade, porque tudo pode ser expresso em termos de probabilidades:

$$\mathcal{L}(X;\theta) = \prod_i \left(F_\theta(x_i + \epsilon_i) - F_\theta(x_i - \delta_i)\right).$$

Se o suporte de $F_{d\theta}$ não tem pontos de condensação em todo o $x_i,$ a sua contribuição para a probabilidade irá reduzir a, no máximo, um termo único, desde que os ípsilons e deltas são feitos suficientemente pequeno: não haverá nenhuma contribuição quando $x_i$ não está em seu apoio.

Se assumirmos que $f_a(\,;\theta)$ éLipschitz contínuoem todos os valores dos dados,entãouniformementenos tamanhos dos épsons e deltas podemos aproximar a parte absolutamente contínua de$F_\theta(x_i)$ como

$$F_{a\theta}(x_i + \epsilon_i) - F_{a\theta}(x_i - \delta_i) = f_a(x_i;\theta)(\epsilon_i + \delta_i) + o(|\epsilon_i + \delta_i|).$$

A uniformidade dessa aproximação significa que, à medida que levamos todos os epsilons e deltas para pequenos, todos os termos $o()$ também ficam pequenos. Consequentemente, há um valor $\epsilon(\theta)\gt 0,$ pequeno ϵ ( θ ) > 0 , governado pelas contribuições de todos esses termos de erro, para os quais

$$\eqalign{ \mathcal{L}(X;\theta) &= \prod_i \left(f_a(x_i;\theta)(\epsilon_i + \delta_i) + o(|\epsilon_i + \delta_i|) + f_d(x_i;\theta)\right)\\ &= \prod_i \left(f_a(x_i;\theta)(\epsilon_i + \delta_i) + f_d(x_i;\theta)\right)\ + \ o(\epsilon(\theta)). }$$

Isso ainda é um pouco confuso, mas mostra para onde estamos indo. No caso de dados censurados, geralmente apenas uma parte de cada termo no produto será diferente de zero, porque esses modelos normalmente assumem que o suporte da parte singular da distribuição é separado da atualização da parte contínua, independentemente do o parâmetro $\theta$ pode ser. (Especificamente: $f_d(x) \ne 0$ implica $F_a(x+\epsilon)-F_a(x-\epsilon) = o(\epsilon).$) Isso nos permite dividir o produto em duas partese podemos fatorar as contribuições de todos os intervalos da parte contínua:

$$\mathcal{L}(X;\theta) = \left(\prod_{i=1}^k (\epsilon_i + \delta_i) \right)\prod_{i=1}^k f_a(x_i;\theta) \ \prod_{i=k+1}^n f_d(x_i;\theta).$$

(Sem qualquer perda de generalidade, indexei os dados para que $x_i, i=1, 2, \ldots, k$ contribuam para a parte contínua e, caso contrário, $x_i, i=k+1, k+2, \ldots, n$ contribuam para a parte singular da probabilidade.)

Essa expressão agora deixa claro que

Uma vez que as larguras de intervalo $\epsilon_i+\delta_i$ são corrigidos, que não contribuem para a probabilidade (o qual é definido somente até algum múltiplo constante positiva).

Assim, podemos trabalhar com a expressão

$$\mathcal{L}(X;\theta) = \prod_{i=1}^k f_a(x_i;\theta) \ \prod_{i=k+1}^n f_d(x_i;\theta)$$

ao construir relações de probabilidade ou maximizar a probabilidade. A beleza desse resultado é que nunca precisamos saber os tamanhos dos intervalos finitos usados ​​nesta derivação: os épsons e os deltas desaparecem imediatamente. Precisamos apenas saber que podemos torná-los pequenos o suficiente para que a expressão de probabilidade com a qual trabalhamos seja uma aproximação adequada à expressão de probabilidade que usaríamos se soubéssemos o tamanho do intervalo.

Essa questão é um problema fundamental extremamente importante na análise de probabilidade e também muito sutil e difícil, por isso estou bastante surpreso com algumas das respostas superficiais que está recebendo nos comentários.

De qualquer forma, nesta resposta, acrescentarei apenas um pequeno ponto à excelente resposta do whuber (que eu acho que é a abordagem correta para esse problema). Esse ponto é que as funções de probabilidade neste contexto vêm de funções de densidade sobre uma medida dominante mista, e isso leva à propriedade interessante de que podemos dimensionar os tamanhos relativos da função de probabilidade arbitrariamente sobre as partes contínuas e discretas e ainda temos uma validade função de probabilidade . Isso gera uma questão óbvia de como podemos implementar técnicas de probabilidade quando não há uma função de probabilidade única.

Ilustrar esse ponto requer uma apresentação preliminar da densidade de amostragem como um derivado de Radon-Nikodym da medida de probabilidade, portanto, por favor, tenha paciência comigo. Primeiro, mostrarei como obter uma função de densidade para uma medida dominante mista e depois mostrarei por que isso leva à capacidade de dimensionar as partes contínuas e discretas da probabilidade à vontade. Por fim, discutirei as implicações desta questão na análise baseada em probabilidade e darei minha opinião sobre sua resolução. Eu acho que isso é essencialmente resolvido pelo método que o whuber apresenta em sua resposta, mas precisaria ser estendido na direção que discuti nos comentários dessa resposta, para garantir que cada ponto no suporte da parte discreta ignore a parte contínua nesse ponto.

---

Expressando a densidade usando uma medida dominante: A abordagem padrão para lidar com densidades mistas para variáveis ​​aleatórias reais é usar a medida de Lebesgue $\lambda_\text{LEB}$ como a medida dominante para a parte contínua e a medida de contagem $\lambda_\text{COUNT}$ (acima de um conjunto contável especificado $\mathcal{D} \subset \mathbb{R}$ ) como a medida dominante para a parte discreta. Isso leva ao derivado Radon-Nikodym definido por:

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f(x | \theta) \ d \lambda_\text{LEB}(x) + \int \limits_\mathcal{A} p(x | \theta) \ d\lambda_\text{COUNT}(x).$$

(Observe que a última integral degenera até uma soma sobre os elementos $x \in \mathcal{A} \cap \mathcal{D}$ Nós a escrevemos aqui como uma integral para tornar mais clara a semelhança entre os dois termos.) Pode-se usar uma única densidade fazendo a medida $\lambda_* \equiv \lambda_\text{LEB} + \lambda_\text{COUNT}$ e configuração:

$$f_*(x | \theta) \equiv \mathbb{I}(x \notin \mathcal{D}) \cdot f(x | \theta) + \mathbb{I}(x \in \mathcal{D}) \cdot p(x | \theta).$$

$\lambda_*$

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f_*(x | \theta) \ d \lambda_*(x).$$

$f_*$$X$$x$$\theta$$L_x^*(\theta) \propto f_*(x | \theta)$$x$$\theta$

---

$\lambda_{**} \equiv \alpha \cdot \lambda_\text{LEB} + \beta \cdot \lambda_\text{COUNT}$$\alpha > 0$$\beta > 0$

$$f_{**}(x | \theta) \equiv \frac{\mathbb{I}(x \notin \mathcal{D})}{\alpha} \cdot f(x | \theta) + \frac{\mathbb{I}(x \in \mathcal{D})}{\beta} \cdot p(x | \theta).$$

$\lambda_{**}$

$$\mathbb{P}(X \in \mathcal{A} | \theta) = \int \limits_\mathcal{A} f_{**}(x | \theta) \ d \lambda_{**}(x).$$

Como no caso acima, podemos definir uma função de probabilidade válida $L_x^{**}(\theta) \propto f_{**}(x | \theta)$$x$$\theta$$\alpha$$\beta$

$^\dagger$

---

$x_1,...,x_k \notin \mathcal{D}$$x_{k+1},...,x_n \in \mathcal{D}$

$$\begin{equation} \begin{aligned} L_\mathbb{x}^{**}(\theta) = \prod_{i=1}^n L_{x_i}^{**}(\theta) &= \prod_{i=1}^n f_{**}(x_i | \theta) \\[12pt] &= \Bigg( \prod_{i=1}^k \frac{1}{\alpha} \cdot f(x_i | \theta) \Bigg) \Bigg( \prod_{i=k+1}^n \frac{1}{\beta} \cdot p(x_i | \theta) \Bigg) \\[12pt] &= \frac{1}{\alpha^k \beta^{n-k}} \Bigg( \prod_{i=1}^k f(x_i | \theta) \Bigg) \Bigg( \prod_{i=k+1}^n p(x_i | \theta) \Bigg) \\[12pt] &= \frac{1}{\alpha^k \beta^{n-k}} \prod_{i=1}^n f_{*}(x_i | \theta) \\[12pt] &\propto \prod_{i=1}^n f_{*}(x_i | \theta) \\[12pt] &= \prod_{i=1}^n L_{x_i}^{*}(\theta) \\[12pt] &= L_\mathbb{x}^{*}(\theta). \\[12pt] \end{aligned} \end{equation}$$

Isso mostra que as propriedades de escala da medida dominante afetam apenas a função de probabilidade através de uma constante de escala que pode ser ignorada nos problemas padrão do MLE. Observe que, no meu tratamento desse problema, essa propriedade útil ocorreu como resultado direto do fato de que a densidade de amostragem é definida de uma maneira que ignora a densidade contínua quando estamos no suporte da parte discreta. (Isso difere da resposta do whuber , onde ele permite uma combinação dessas partes. Acho que isso pode realmente levar a alguns problemas difíceis; veja meus comentários sobre essa resposta.)

---

$^\dagger$

Um exemplo em que isso ocorre, ou seja, a probabilidade dada por um modelo de probabilidade do tipo contínuo / discreto misto, é com dados censurados. Para um exemplo, consulte Regressão de erros normais ponderados com censura .

$f(x;\theta)$$\lambda$$\theta$$x_1, x_2, \dotsc, x_n$$\prod_i f(x_i;\theta)$

$\lambda$$(0,\infty)$