Recentemente, eu encontrei o seguinte estimador de quantil para uma variável aleatória contínua em um artigo (não estatístico, aplicado): para um vetor de 100 $x$ , o quantil de 1% é estimado com $\min(x)$ . Aqui está como ele funciona: abaixo está um gráfico de densidade de kernel das realizações do estimador $\min(x)$ de 100.000 execuções de simulação de amostras de 100 comprimentos da distribuição $N(0,1)$ . A reta vertical é o valor verdadeiro, ou seja, o quantil teórico de 1% da distribuição $N(0,1)$ . O código para a simulação também é fornecido.

M=10e5; n=100
quantiles=rep(NA,M)
for(i in 1:M){ set.seed(i); quantiles[i]=min(rnorm(n)) }
plot(density(quantiles),main="Kernel density estimate of quantiles from M=100,000 simulation runs"); abline(v=qnorm(1/n))

O gráfico parece qualitativamente semelhante a uma distribuição (apenas um exemplo). Nos dois casos, o estimador é enviesado para baixo. Sem comparação com algum outro estimador, é difícil dizer quão bom é o contrário. Daí a minha pergunta: existem estimadores alternativos que são melhores em, digamos, erro absoluto esperado ou senso de erro quadrado esperado? $t(3)$

quantiles

— Richard Hardy
fonte

Bem, 1% de 100 é 1, então é o quantil empírico de 1%.

min {X_{i}}

$\min\{X_i\}$

— Xian

@ Xian, ao mesmo tempo, é não tal ponto que um 1% de que os dados têm valores mais baixos, enquanto 99% dos dados tem valores maiores. De fato, 0% dos dados possuem valores inferiores a pelo design deste estimador. Gostaria de saber se isso não é um problema. (Neste exemplo, podemos assumir que a distribuição é contínua).

min (x)

$\min(x)$

— Richard Hardy

Por outro lado, estimar o quantil de 1% com base em 100 observações está exigindo muito dos dados.

— Xian

"Bom" em que sentido? Qual é a sua função de perda e qual é o seu modelo de probabilidade subjacente?

— whuber

O mínimo poderia ser um estimador extremamente bom, como quando as distribuições têm um limite inferior finito. Quando a cauda esquerda pode ser pesada, o mínimo pode ter uma variação extremamente grande e, assim, ser um estimador ruim. A simetria não importa, porque a distribuição do mínimo não será afetada sensivelmente pela cauda superior. Para problemas paramétricos, especialmente em famílias em escala de localização, a resposta de Aksakal sugere como construir melhores estimadores de um percentil. Estes são geralmente conhecidos como intervalos de tolerância. Para problemas não paramétricos, tudo depende.

— whuber

Uma amostra mínima de 100 observações é usada na prática como estimador de 1% quantil. Eu já vi isso chamado "percentil empírico".

Família de distribuição conhecida

Se você deseja uma estimativa diferente E tem uma idéia sobre a distribuição dos dados, sugiro examinar as medianas das estatísticas de pedidos. Por exemplo, este pacote R os utiliza para os coeficientes de correlação do gráfico de probabilidade PPCC . Você pode descobrir como eles fazem isso em algumas distribuições, como a normal. Você pode ver mais detalhes no artigo de Vogel, de 1986, "O Teste do Coeficiente de Correlação do Gráfico de Probabilidade para as Hipóteses Distribuicionais Normal, Lognormal e Gumbel" aqui em medianas estatísticas de ordem nas distribuições normal e lognormal.

Por exemplo, no artigo de Vogel, a Eq.2 define o min (x) de 100 amostras da distribuição normal padrão da seguinte maneira: onde a estimativa de a mediana do CDF:

M_{1} = Φ^{- 1} (F_{Y} (min (y)))

$M_1=\Phi^{-1}(F_Y(\min(y)))$

{\hat{F}}_{Y} (min (y)) = 1 - (1 / 2)^{1 / 100} = 0.0069

$\hat F_Y(\min(y))=1-(1/2)^{1/100}=0.0069$

o seguinte valor: para o padrão normal ao qual você pode aplicar o local e a escala para obter sua estimativa do 1º percentil: . $M_1=-2.46$ $\hat\mu-2.46\hat\sigma$

Aqui, como isso se compara ao mínimo (x) na distribuição normal:

O gráfico na parte superior é a distribuição do estimador min (x) do 1º percentil, e o gráfico na parte inferior é o que eu sugeri examinar. Também colei o código abaixo. No código, escolho aleatoriamente a média e a dispersão da distribuição normal e, em seguida, giro uma amostra de 100 observações. Em seguida, encontro min (x) e, em seguida, dimensiono-o para o padrão normal usando parâmetros verdadeiros da distribuição normal. Para o método M1, calculo o quantil usando média e variância estimadas e, em seguida, dimensiono-o de volta ao padrão usando os parâmetros verdadeiros novamente. Dessa forma, eu posso explicar o impacto do erro de estimativa da média e do desvio padrão até certo ponto. Eu também mostro o percentil verdadeiro com uma linha vertical.

Você pode ver como o estimador M1 é muito mais rígido que min (x). É porque usamos nosso conhecimento do verdadeiro tipo de distribuição , ou seja, normal. Ainda não conhecemos parâmetros verdadeiros, mas mesmo sabendo que a família de distribuição melhorou tremendamente nossa estimativa.

OCTAVE CODE

Você pode executá-lo aqui on-line: https://octave-online.net/

N=100000
n=100

mus = randn(1,N);
sigmas = abs(randn(1,N));
r = randn(n,N).*repmat(sigmas,n,1)+repmat(mus,n,1);
muhats = mean(r);
sigmahats = std(r);

fhat = 1-(1/2)^(1/100)
M1 = norminv(fhat)
onepcthats = (M1*sigmahats + muhats - mus) ./ sigmas;

mins = min(r);
minonepcthats = (mins - mus) ./ sigmas;

onepct = norminv(0.01)

figure
subplot(2,1,1)
hist(minonepcthats,100)
title 'min(x)'
xlims = xlim;
ylims = ylim;
hold on
plot([onepct,onepct],ylims)

subplot(2,1,2)
hist(onepcthats,100)
title 'M1'
xlim(xlims)
hold on
plot([onepct,onepct],ylims)

Distribuição desconhecida

Se você não souber de qual distribuição os dados estão vindo, existe outra abordagem usada em aplicativos de risco financeiro . Existem duas distribuições Johnson e SU . O primeiro é para casos ilimitados, como Normal e Student t, e o segundo, para limites inferiores, como lognormal. Você pode ajustar a distribuição Johnson aos seus dados e, em seguida, usar os parâmetros estimados estimar o quantil necessário. Tuenter (2001) sugeriu um procedimento de adaptação de momento, que é usado na prática por alguns.

Será melhor que min (x)? Não sei ao certo, mas às vezes produz melhores resultados na minha prática, por exemplo, quando você não conhece a distribuição, mas sabe que ela é de limite inferior.

— Aksakal
fonte

@RichardHardy, adicionei uma demonstração para mostrar o que estou sugerindo e como ela melhora o min (x). Não, Vogel nem fala sobre min (x). Essa é a minha aplicação do método das medianas no seu caso. O PPCC usa os quantis de 1 a enésimo na amostra. Em 100 amostras de observação, min (x) é o 1º percentil.

— Aksakal

Obrigado pela atualização! O que eu estava perguntando era o artigo de Vogel Eq.2 define o mínimo (x) da amostra de 100 observações : deveria haver vez de min (x)? Já que de outra forma, min (x) está sendo redefinido como algo diferente do literal min (x), essa é a minha impressão.

M_{1}

$M_1$

— Richard Hardy

@RichardHardy, observações que reordenar de modo M1 vai ser min (x)

— Aksakal

como um estimador quantil para o quantil 1% de

Família de distribuição conhecida

OCTAVE CODE

Distribuição desconhecida