Alternativa de distribuição empírica

RECOMPENSA:

A recompensa total será concedido a alguém que fornece uma referência a qualquer documento publicado que os usos ou menciona o estimador $\tilde{F}$ abaixo.

Motivação:

Esta seção provavelmente não é importante para você e eu suspeito que não ajudará você a receber a recompensa, mas como alguém perguntou sobre a motivação, aqui está o que estou trabalhando.

Estou trabalhando em um problema de teoria estatística de grafos. O objeto limitador de gráfico denso padrão $W : [0,1]^2 \to [0,1]$ é uma função simétrica no sentido de que $W(u,v) = W(v,u)$ . A amostragem de um gráfico em $n$ vértices pode ser considerada como amostragem de $n$ valores uniformes no intervalo de unidades ( $U_i$ para $i = 1, \dots, n$) e, em seguida, a probabilidade de uma aresta $(i,j)$ é $W(U_i, U_j)$ . Deixe a matriz de adjacência resultando ser chamado $A$ .

$W$$f = W / \iint W$ supondo que$\iint W > 0$ . Se estimarmos$f$ base em$A$ sem quaisquer restrições para$f$ , não podemos obter uma estimativa consistente. Encontrei um resultado interessante sobre a estimativa consistente de$f$ quando$f$ vem de um conjunto restrito de funções possíveis. A partir deste estimador e$\sum A$ , podemos estimar$W$ .

Infelizmente, o método que encontrei mostra consistência quando coletamos amostras da distribuição com densidade $f$ . A maneira como $A$ é construído exige que eu colete uma grade de pontos (em vez de tirar desenhos do original $f$). Nesta pergunta stats.SE, estou solicitando o problema unidimensional (mais simples) do que acontece quando podemos apenas amostrar Bernoullis em uma grade como essa, em vez de realmente amostrar diretamente da distribuição.

referências para limites de gráficos:

L. Lovasz e B. Szegedy. Limites de sequências gráficas densas ( arxiv ).

C. Borgs, J. Chayes, L. Lovasz, V. Sos e K. Vesztergombi. Sequências convergentes de gráficos densos i: Frequências de subgráficos, propriedades métricas e testes. ( arxiv ).

Notação:

Considere uma distribuição contínua com cdf $F$ e pdf $f$ que tenha um suporte positivo no intervalo $[0,1]$ . Suponha que $f$ não tenha massa de pontos, $F$ seja diferenciável em todos os lugares e também que $\sup_{z \in [0,1]} f(z) = c < \infty$ é o supremo de $f$ no intervalo $[0,1]$ . Seja $X \sim F$ significa que a variável aleatória$X$ é amostrado a partir da distribuição$F$ . $U_i$ são suas variáveis ​​aleatórias uniformes em$[0,1]$ .

Problema configurado:

Muitas vezes, podemos deixar $X_1, \dots, X_n$ variáveis aleatórias com distribuição $F$ e trabalhar com o habitual função de distribuição empírica como F n ( t ) = 1 ondeIé a função do indicador. Note-se que esta distribuição empírica F n(t)é, em si aleatória (em queté fixo).

$$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$$ $I$$\hat{F}_n(t)$$t$

Infelizmente, eu não sou capaz de tirar amostras diretamente do . No entanto, eu sei que f tem suporte positivo apenas em [ 0 , 1 ] , e posso gerar variáveis ​​aleatórias Y 1 , … , Y n onde Y i é uma variável aleatória com uma distribuição de Bernoulli com probabilidade de sucesso p i = f ( ( i - 1 + U i ) / n ) / c onde c e$F$$f$$[0,1]$$Y_1, \dots, Y_n$$Y_i$

$$p_i = f((i-1+U_i)/n)/c$$ $c$ são definidos acima. Assim, Y i ~ Berna ( P i ) . Uma maneira óbvia de estimar F a partir dessesvalores Y i é tomando ˜ F n ( t ) = $U_i$$Y_i \sim \text{Bern}(p_i)$$F$$Y_i$ onde⌈⋅⌉é a função de tecto (isto é, apenas para cima e volta para o inteiro mais próximo), e redesenhar seΣ n i = 1 Yi=0(para evitar dividir por zero e fazer o universo desmoronar). Note-se que ~ F (t)é também uma variável aleatória uma vez que oYisão variáveis aleatórias. $$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\lceil \cdot \rceil$$\sum_{i=1}^n Y_i = 0$$\tilde{F}(t)$$Y_i$

Questões:

Do (o que eu acho que deveria ser), do mais fácil ao mais difícil.

1. Alguém sabe se este (ou algo similar) tem um nome? Você pode fornecer uma referência onde eu possa ver algumas de suas propriedades?$\tilde{F}_n$

2. Como , ˜ F n ( t ) é um estimador consistente de F ( t ) (e você pode provar isso)?$n \to \infty$$\tilde{F}_n(t)$$F(t)$

3. Qual é a distribuição limitadora de como n → ∞ ?$\tilde{F}_n(t)$$n \to \infty$

4. Idealmente, eu gostaria de vincular o seguinte como uma função de - por exemplo, O P ( log ( n ) / $n$, mas não sei qual é a verdade. OOPsignificaBig S em probabilidade$O_P(\log(n) /\sqrt{n})$$O_P$

$$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$$

Algumas idéias e notas:

1. Isso se parece muito com a amostragem de rejeição de aceitação com uma estratificação baseada em grade. Observe que não é assim, porque não extraímos outra amostra se rejeitarmos a proposta.

2. Eu tenho certeza que isso é tendenciosa. Eu acho que a alternativa ~ F ∗ n ( t ) = $\tilde{F}_n$ é imparcial, mas tem a propriedade desagradável queP( ~ F * (1)=1)<1.

   $$\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$

3. Eu estou interessado em usar como um plug-in estimador . Não acho que seja uma informação útil, mas talvez você saiba de alguma razão para isso.$\tilde{F}_n$

Exemplo em R

Aqui está um código R se você deseja comparar a distribuição empírica com . Desculpe, alguns dos recuos estão errados ... Não vejo como consertar isso.$\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

EDITAR% S:

EDIT 1 -

Eu editei isso para abordar os comentários do @ whuber.

EDIT 2 -

Eu adicionei o código R e o limpei um pouco mais. Alterei ligeiramente a notação para facilitar a leitura, mas é essencialmente a mesma. Estou planejando dar uma recompensa a isso assim que me for permitido, por isso, entre em contato se desejar mais esclarecimentos.

EDIT 3 -

Acho que me dirigi às observações do @ cardeal. Corrigi os erros de digitação na variação total. Estou adicionando uma recompensa.

EDIT 4 -

Adicionada uma seção de "motivação" para o @cardinal.

Embora esta referência

EDIÇÃO: REFERÊNCIA ADICIONADA A ESTATÍSTICA MUITO SIMILAR "Estimativa não paramétrica de observações incompletas" EL Kaplan e Paul Meier, Jornal da Associação Estatística Americana, vol. 53, n. 282 (junho de 1958), pp. 457-481

não é do seu estimador do tipo ECDF em $[0,1]$ Eu acredito que é logicamente equivalente ao estimador de Kaplan-Meier (também conhecido como estimador de limite de produto) usado na Análise de Sobrevivência, mesmo que aplicado a um intervalo de tempo $[0,\infty)$.

A estimativa do viés seria possível quando você tiver uma estimativa razoável da distribuição via suavização do kernel, se ela se comportar bem o suficiente (consulte, por exemplo, a transformação de Khmaladze na Wikipedia).

No caso bivariado do gráfico, estimar o problema $f = W / \iint W$ a partir de $A$embora com uma restrição trivial de simetria parece semelhante à abordagem de Jean-David Fermanian, Dragan Radulovic e Marten Wegkamp (2004), Fraca convergência de processos de cópula empírica , Bernoulli , vol. 10, n. 5, 847-860, como @cardinal indicou "Método Delta Multivariado".

Isso responde às perguntas 2 e 3 acima. Ainda quero mesmo uma referência (da pergunta 1).

Isso ainda não leva em consideração quando $\sum Y_i = 0$.

Considerar $g(A,B) = A/(A+B)$, então

$$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$$ where the subscripts denote the derivatives. Recall $p_i = f((i-1+U_i)/n)/c$. Let $$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$$ So note that $\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$ and $g(\mu_R, \mu_S) = F(t)$. Also, $$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$$ Observe que $\text{ Cov}(R,S) = 0$ pela independência do $Y_i$s.

Agora, usamos uma expansão de taylor para obter

$$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$$ where $$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$$ In particular, we get $$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$$

Por favor, comente se você vê algo errado com isso.

EDITAR% S:

Editar 1 -

Corrigido um erro de digitação em $V_{F(t)}$. Obrigado @ cardinal pela sua sugestão nos comentários sobre a pergunta 4.

Editar 2 -

Corrigido muitos erros de digitação: eu tinha $c^{-1}$ onde eu deveria ter $c$em muitos lugares. Ainda preciso responder à resposta do @ cardeal sobre$\sum Y_i = 0$.