Amostragem inversa de CDF para uma distribuição mista

A versão curta fora do contexto

Seja uma variável aleatória com CDF $y$

F (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - θ) \times {CDF}_{log-normal} (\cdot; μ, σ) & y > 0 \end{cases}

$F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0}$

Digamos que eu queira simular empates de usando o método CDF inverso. Isso é possível? Esta função não tem exatamente um inverso. Então, novamente, há amostragem de transformação inversa para distribuição de mistura de duas distribuições normais, o que sugere que há uma maneira conhecida de aplicar amostragem de transformação inversa aqui. $y$

Estou ciente do método de duas etapas, mas não sei como aplicá-lo à minha situação (veja abaixo).

A versão longa com fundo

Eu ajustei o seguinte modelo para uma resposta com valor vetorial, , usando o MCMC (especificamente, Stan): $y^i = \left( y_1 , \dots , y_K \right)^i$

θ_{k}^{i} \equiv {logit}^{- 1} (α_{k} x^{i}), μ_{k}^{i} \equiv β_{k} x^{i} - \frac{σ_{k}^{2}}{2} F (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - θ) \times {CDF}_{log-normal} (\cdot; μ, σ) & y > 0 \end{cases} u_{k} \equiv F (y_{k}), z_{k} \equiv Φ^{- 1} (u_{k}) z \sim N (0, R) \times \prod_{k} f (y_{k}) (α, β, σ, R) \sim priors

$\theta_k^i \equiv \operatorname{logit}^{-1}\left( \alpha_k x^i \right), \quad \mu_k^i \equiv \beta_k x^i - \frac{ \sigma^2_k }{ 2 } \\ F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0} \\ u_k \equiv F(y_k), \quad z_k \equiv\Phi^{-1}{\left( u_k \right)} \\ z \sim \mathcal{N}(\mathbf{0}, R) \times \prod_k f(y_k) \\ \left( \alpha, \beta, \sigma, R \right) \sim \text{priors}$

onde indexa observações, é uma matriz de correlação e é um vetor de preditores / regressores / características. $i$ $N$ $R$ $x$

Ou seja, meu modelo é um modelo de regressão em que a distribuição condicional da resposta é assumida como uma cópula gaussiana com marginais log-normais inflados a zero. Eu postei sobre esse modelo antes; Acontece que Song, Li e Yuan (2009, gated ) o desenvolveram e o chamam de vetor GLM, ou VGLM. A seguir, a especificação deles é o mais aproximada possível: Meu

f (y; μ, φ, Γ) = c {G_{1} (y_{1}), \dots, G_{m} (y_{m}) | Γ} \prod_{i = 1}^{m} g (y_{i}; μ_{i}, φ_{i}) c (u | Γ) = {| Γ |}^{- 1 / 2} \exp (\frac{1}{2} q^{T} (I_{m} - Γ^{- 1}) q) q = {(q_{1}, \dots, q_{m})}^{T}, q_{i} = Φ^{- 1} (u_{i})

$f(\mathbf{y}; \mathbf{\mu}, \mathbf{\varphi}, \Gamma) = c\{ G_1(y_1), \dots, G_m(y_m) | \Gamma \} \prod_{i=1}^m g(y_i; \mu_i, \varphi_i) \\ c(\mathbf{u} | \Gamma) = \left| \Gamma \right|^{-1/2}\exp\left( \frac{1}{2} \mathbf{q}^T \left( I_m - \Gamma^{-1} \right) \mathbf{q} \right) \\ \mathbf{q} = \left( q_1, \dots, q_m \right)^T, \quad q_i = \Phi^{-1}(u_i)$

F_{K}

$F_K$ corresponde ao , meu corresponde ao e meu corresponde ao ; os detalhes estão na página 62 (página 3 do arquivo PDF), mas são idênticos ao que escrevi aqui.

G_{m}

$G_m$

z

$z$

q

$\mathbf{q}$

R

$R$

Γ

$\Gamma$

A peça inflada com zero segue aproximadamente as especificações de Liu e Chan (2010, sem porta ).

Agora, eu gostaria de simular dados dos parâmetros estimados, mas estou um pouco confuso sobre como fazê-lo. Primeiro, pensei em simular diretamente (no código R): $y$

for (i in 1:N) {
    for (k in 1:K) {
        Y_hat <- rbinom(1, 1, 1 - theta[i, k])
        if (Y_hat == 1)
            Y_hat <- rlnorm(1, mu[i, k], sigma[k])
    }
}

que não usa em tudo. Eu gostaria de tentar realmente usar a matriz de correlação que estimei. $R$

Minha próxima idéia foi pegar e convertê-los de volta para . Isso também parece coincidir com as respostas em Gerando amostras de Copula na amostragem R e bivariada para distribuição expressa no teorema da cópula de Sklar? . Mas que diabos é o meu aqui? A amostragem de transformação inversa para distribuição de mistura de duas distribuições normais faz parecer que isso é possível, mas não tenho idéia de como fazê-lo. $z$ $y$ $F^{-1}$

— shadowtalker
fonte

@ Xi'an é uma cópula gaussiana, para estimar a dependência entre os componentes .

y

$y$

— shadowtalker

O encadeamento que você menciona sobre a amostragem de misturas de normais aplica-se diretamente ao seu problema sem modificação essencial: em vez de usar os CDFs inversos dos normais, use os CDFs inversos de seus dois componentes. O CDF inverso do átomo em é a função constante, sempre igual a .

y = 0

$y=0$

0

$0$

— whuber

@whuber Estou confuso sobre como usar os CDFs inversos dos dois componentes: o que eu desenho, o que eu desenho e o que eu conecto cada coisa?

— shadowtalker

@ Xi'an explica bem que, em sua resposta à pergunta da mistura normal: você usa uma variável uniforme para selecionar o componente da mistura e depois extrai um valor desse componente (da maneira que desejar). No seu caso, é extremamente fácil desenhar um valor a partir do primeiro componente: é sempre ! Para desenhar um valor do segundo componente, use qualquer gerador de números aleatórios lognormal que você desejar. Em cada caso, você acaba com um número: não há "plug-in" para realizar; todo o objetivo da geração aleatória de números é obter esse número.

0

$0$

— whuber

@whuber a nova resposta esclareceu para mim. Obrigado a ambos.

— shadowtalker

Respostas:

A resposta para a versão longa com fundo:

Essa resposta para a versão longa aborda um pouco outra questão e, como parecemos ter dificuldades em formular o modelo e o problema, escolhi reformulá-lo aqui, espero que corretamente.

Para , o objetivo é simular vetores modo que, condicional a uma covariável , com . Portanto, se alguém quiser simular dados desse modelo, poderá proceder da seguinte maneira: $1\le i\le I$ $y^i=(y^i_1,\ldots,y^i_K)$ $x^i$

y_{k}^{i} = {\begin{cases} 0 & with probability {logit}^{- 1} (α_{k} x^{i}) \\ \log (σ_{k} z_{k}^{i} + β_{k} x^{i}) & with probability 1 - {logit}^{- 1} (α_{k} x^{i}) \end{cases}

$y_k^i = \begin{cases} 0 &\text{ with probability }\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\\ \log(\sigma_k z_k^i + \beta_k x^i) &\text{ with probability }1-\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\end{cases}$

z^{i} = (z_{1}^{i}, \dots, z_{K}^{i}) \sim N_{K} (0, R)

$z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$

Para , $1\le i\le I$

Gere $z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$
Gere $u^i_1,\ldots,u^i_K \stackrel{\text{iid}}{\sim} \mathcal{U}(0,1)$
Derivar para $y^i_k=\mathbb{I}\left\{u^i_k>\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\right\}\, \log\{ \sigma_k z_k^i + \beta_k x^i\}$ $1\le k\le K$

Se alguém está interessado na geração a partir de posterior de dada a , esse é um problema mais difícil, embora possível pela amostragem de Gibbs ou ABC. $(\alpha,\beta,\mu,\sigma,R)$ $y^i_ k$

— Xi'an
fonte

Eu sabia que estava faltando alguma coisa. "Tudo é óbvio em retrospectiva." Minha intenção: estou interessado no valor de , então sim, estou interessado em desenhar a partir da junção posterior dos parâmetros. Eu quero que o simulado é para ver se os ajustes do modelo.

F (y^{i} | x^{i})

$F(y^i | x^i)$

y

$y$

— shadowtalker

Como o segundo problema é muito mais difícil? Já estimei o modelo e tenho desenhos posteriores. Podemos continuar no bate-papo, se você quiser, para não bagunçar os comentários aqui.

— shadowtalker

Oh, em geral, sim. Felizmente, tenho Stan e o Sampler No-U-Turn fazendo o trabalho duro para mim lá.

— shadowtalker

A resposta para a versão curta fora de contexto:

"Inverter" um cdf que não é invertível no sentido matemático (como sua distribuição mista) é viável, conforme descrito na maioria dos livros didáticos de Monte Carlo. (Como o nosso , consulte o Lema 2.4.) Se você definir o inverso generalizado então Isso significa que, quando tem um salto de em , para . Em outras palavras, se você desenhar um uniforme e ele acabar menor que , sua geração de

F^{-} (u) = inf {x \in R; F (x) \geq u}

$F^{-}(u) = \inf\left\{ x\in\mathbb{R};\ F(x)\ge u \right\}$

X \sim F is equivalent to X = F^{-} (U) when U \sim U (0, 1) .

$X \sim F \text{ is equivalent to } X=F^{-}(U)\text{ when } U\sim\mathcal{U}(0,1)\,.$

F (y)

$F(y)$

θ

$\theta$

y = 0

$y=0$

F^{-} (u) = 0

$F^{-}(u)=0$

u \leq θ

$u\le\theta$

U (0, 1)

$\mathcal{U}(0,1)$

θ

$\theta$

X

$X$ é . Senão, quando , você acaba gerando da parte contínua, ou seja, o log-normal no seu caso. Isso significa usar uma segunda geração aleatória uniforme, , independente do primeiro desenho uniforme e definir para obter uma geração log-normal.

x = 0

$x=0$

u > θ

$u>\theta$

v

$v$

y = \exp (μ + σ Φ^{- 1} (v))

$y=\exp(\mu+\sigma\Phi^{-1}(v))$

Isso é quase o que o seu código R

Y_hat <- rbinom(1, 1, theta[i, k]) if (Y_hat == 1) Y_hat <- rlnorm(1, mu[i, k], sigma[k])

está fazendo. Você gera um Bernoulli com probabilidade e, se for igual a , transforma-o em um log-normal. Uma vez que é igual a 1 com probabilidade você deve em vez transformá-lo em uma simulação de log-normal quando é igual a zero, em vez disso, acabar com o código R modificado: $\theta_k^i$ $1$ $\theta_k^i$

Y_hat <- rbinom(1, 1, theta[i, k])
    if (Y_hat == 0)
        Y_hat <- rlnorm(1, mu[i, k], sigma[k])

— Xi'an
fonte

Assim, todos juntos, meu procedimento de simulação seria: 1) desenhar , 2) calcular , depois 3) calcular se e caso contrário. Corrigir?

z

$z$

u_{k} = Φ (z_{k})

$u_k = \Phi(z_k)$

y_{k} = 0

$y_k = 0$

u_{k} \leq θ

$u_k \leq \theta$

y_{k} = F_{log-normal}^{- 1} (u_{k})

$y_k = F^{-1}_\text{log-normal}(u_k)$

— shadowtalker

Não, incorreto. Você desenha um primeiro uniforme para decidir entre e log-normal, depois um segundo uniforme, caso tenha decidido por um log-normal. Veja a versão editada da minha resposta.

0

$0$

— Xian

Mas isso ignora o componente ; daí a minha pergunta. Fiz uma edição esclarecedora e também resolvi o erro no meu pseudocódigo.

z

$z$

— shadowtalker

Minha resposta é para a versão curta e para o código R que você forneceu. Espero que ajude na versão longa, mas sua fórmula para o modelo conjunto ainda está incorreta. Você deve definir o modelo nos sem usar os uniformes ...

y

$y$

— Decian

Como esse modelo está incorreto? Acabei de meu na fórmula fornecida pelo artigo que citei (correspondente a em sua notação). Isso é inválido?

F_{1}, \dots, F_{K}

$F_1, \dots, F_K$

G_{1}, \dots, G_{m}

$G_1, \dots, G_m$

— shadowtalker