Distribuição assintótica de amostras censuradas de

Seja a estatística de ordem de uma amostra iid do tamanho de . Suponha que os dados sejam censurados, de modo que apenas vejamos a parte superior por cento dos dados, ou seja,Coloque , qual é a distribuição assintótica de $X_{(1)}, \ldots, X_{(n)}$ $n$ $\exp(\lambda)$ $(1-p) \times 100%$

X_{(⌊ p n ⌋)}, X_{(⌊ p n ⌋ + 1)}, \dots, X_{(n)} .

$X_{(\lfloor p n \rfloor )}, X_{(\lfloor p n\rfloor + 1)}, \ldots, X_{(n)}\,.$

m = ⌊ p n ⌋

$m = \lfloor p n \rfloor$

(X_{(m)}, \frac{\sum_{i = m + 1}^{n} X_{(i)}}{(n - m)}) ?

$\left(X_{(m)}, \frac{\sum_{i= m+1}^n X_{(i)}}{(n-m)} \right)?$

Isso está um pouco relacionado a essa questão e a isso e também marginalmente a essa questão.

Qualquer ajuda seria apreciada. Tentei abordagens diferentes, mas não consegui progredir muito.

— eles
fonte

Pode-se mostrar que, condicionado em , vetor é distribuído como uma estatística de ordem das de iid de (com conforme definido na pergunta, ou seja, ), portanto portanto, no limite , recuperamos o CLT devido à independência de , este parece ser o caminho certo, mas Eu não sou capaz de aprofundar esse argumento e encontrar assintótico para .. .

X_{(m)}

$X_{(m)}$

(X_{(m + 1)} - X_{(m)}, \dots, X_{(n)} - X_{(m)} | X_{(m)})

$(X_{(m+1)}−X_{(m)},…,X_{(n)}−X_{(m)}|X_{(m)})$

{Y_{i}}_{1}^{n - m}

$\{Y_i\}_{1}^{n−m}$

\exp (1)

$\exp(1)$

m

$m$

m = ⌊ p n ⌋

$m = \lfloor pn \rfloor$

\frac{1}{m - n} \sum_{i = m + 1}^{n} X_{(i)} - X_{(m)} | X_{(m)} = \frac{1}{m - n} \sum_{i = 1}^{n - m} Y_{(i)}

$\frac{1}{m−n}\sum_{i=m+1}^nX_{(i)}−X_{(m)}|X_{(m)} = \frac{1}{m−n} \sum_{i=1}^{n-m} Y_{(i)}$

n \to \infty

$n \to \infty$

Y_{i}

$Y_i$

(X_{(m)}, \frac{1}{m - n} \sum_{i = m + 1}^{n} X_{(i)})

$(X_{(m)}, \frac{1}{m−n}\sum_{i=m+1}^nX_{(i)})$

— eles

Para OP: Por que você se refere à sua amostra como sendo censurada? O termo censurado indica que os valores abaixo do ponto de censura são registrados como 0, ou registrados no ponto de censura, etc. Mas não é isso que você está fazendo ... você os está descartando, o que não é censura ... é mais como truncá-los. E já que você está considerando a distribuição assintótica e considerando grande, por que você se preocupa em solicitar primeiro a amostra e truncar a amostra solicitada ??? Por que não considerar simplesmente uma distribuição exponencial truncada, truncada abaixo em p% e depois somar os termos?

n

$n$

— wolfies

@ Wolfies, corrigi todos os erros de digitação que você apontou. Vou analisar a distribuição truncada . Em relação à censura, eu apaguei a nota. No entanto, algumas fontes que eu olhei referem-se a problema semelhante como tipo II censurar topo da página 6 aqui

— eles

@ isso é terminologia não padrão, tanto quanto eu sei. Você deve usar um modelo truncado aqui.

— shadowtalker

Como é apenas um fator de escala, sem perda de generalidade, escolha unidades de medida que , tornando a função de distribuição subjacente com densidade . $\lambda$ $\lambda=1$ $F(x)=1-\exp(-x)$ $f(x)=\exp(-x)$

A partir de considerações paralelas às do teorema do limite central para medianas da amostra , é assintoticamente normal com média e variância $X_{(m)}$ $F^{-1}(p)=-\log(1-p)$

Var (X_{(m)}) = \frac{p (1 - p)}{n f (- \log (1 - p))^{2}} = \frac{p}{n (1 - p)} .

$\operatorname{Var}(X_{(m)}) = \frac{p(1-p)}{n f(-\log(1-p))^2} = \frac{p}{n(1-p)}.$

Devido à propriedade sem memória da distribuição exponencial , as variáveis agem como as estatísticas de ordem de uma amostra aleatória de extraída de , para a qual foi adicionado. Escrita $(X_{(m+1)}, \ldots, X_{(n)})$ $n-m$ $F$ $X_{(m)}$

Y = \frac{1}{n - m} \sum_{i = m + 1}^{n} X_{(i)}

$Y = \frac{1}{n-m}\sum_{i=m+1}^n X_{(i)}$

para sua média, é imediato que a média de seja a média de (igual a ) e a variação de seja vezes a variação de (também igual a ). O Teorema do Limite Central implica que o padronizado é assintoticamente padrão normal. Além disso, porque é condicionalmente independente de , que ao mesmo tempo tem a versão padronizada de tornar-se assintoticamente padrão normal e não correlacionada com . Isso é, $Y$ $F$ $1$ $Y$ $1/(n-m)$ $F$ $1$ $Y$ $Y$ $X_{(m)}$ $X_{(m)}$ $Y$

\begin{matrix} (1) & (\frac{X_{(m)} + \log (1 - p)}{\sqrt{p / (n (1 - p))}}, \frac{Y - X_{(m)} - 1}{\sqrt{n - m}}) \end{matrix}

$\left(\frac{X_{(m)} + \log(1-p)}{\sqrt{p/(n(1-p))}}, \frac{Y - X_{(m)} - 1}{\sqrt{n-m}}\right)\tag{1}$

tem assintoticamente uma distribuição normal padrão bivariada.

Os gráficos relatam dados simulados para amostras de ( iterações) . Um traço de assimetria positiva permanece, mas a abordagem da normalidade bivariada é evidente na falta de relação entre e e a proximidade dos histogramas à densidade normal padrão (mostrada em pontos vermelhos). $n=1000$ $500$ $p=0.95$ $Y-X_{(m)}$ $X_{(m)}$

A matriz de covariância dos valores padronizados (como na fórmula ) para esta simulação foi confortavelmente perto da matriz de unidades que ela se aproxima. $(1)$

(\begin{matrix} 0.967 & - 0.021 \\ - 0.021 & 1.010 \end{matrix}),

$\pmatrix{0.967 & -0.021 \\ -0.021 & 1.010},$

O Rcódigo que produziu esses gráficos é prontamente modificado para estudar outros valores de , tamanho da simulação. $n$ $p$

n <- 1e3
p <- 0.95
n.sim <- 5e3
#
# Perform the simulation.
# X_m will be in the first column and Y in the second.
#
set.seed(17)
m <- floor(p * n)
X <- apply(matrix(rexp(n.sim * n), nrow = n), 2, sort)
X <- cbind(X[m, ], colMeans(X[(m+1):n, , drop=FALSE]))
#
# Display the results.
#
par(mfrow=c(2,2))

plot(X[,1], X[,2], pch=16, col="#00000020", 
     xlab=expression(X[(m)]), ylab="Y",
     main="Y vs X", sub=paste("n =", n, "and p =", signif(p, 2)))

plot(X[,1], X[,2]-X[,1], pch=16, col="#00000020", 
     xlab=expression(X[(m)]), ylab=expression(Y - X[(m)]),
     main="Y-X vs X", sub="Loess smooth shown")
lines(lowess(X[,2]-X[,1] ~ X[,1]), col="Red", lwd=3, lty=1)

x <- (X[,1] + log(1-p))  / sqrt(p/(n*(1-p)))
hist(x, main="Standardized X", freq=FALSE, xlab="Value")
curve(dnorm(x), add=TRUE, col="Red", lty=3, lwd=2)

y <- (X[,2] - X[,1] - 1) * sqrt(n-m)
hist(y, main="Standardized Y-X", freq=FALSE, xlab="Value")
curve(dnorm(x), add=TRUE, col="Red", lty=3, lwd=2)
par(mfrow=c(1,1))

round(var(cbind(x,y)), 3) # Should be close to the unit matrix

— whuber
fonte