Calculando o percentil 95: Comparando abordagens de distribuição normal, R Quantile e Excel

Eu estava tentando calcular o percentil 95 no conjunto de dados a seguir. Me deparei com algumas referências on-line de fazê-lo.

Abordagem 1: Com base em dados de amostra

O primeiro diz-me para obter o TOP 95 Percentconjunto de dados e escolher o MINou AVGo conjunto resultante. Fazer isso para o seguinte conjunto de dados me fornece:

AVG: 29162
MIN: 0

Abordagem 2: Assuma a Distribuição Normal

O segundo diz que o percentil 95 é aproximadamente dois desvios padrão acima da média (que eu entendo) e eu realizei:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Abordagem 3: R Quantile

Eu costumava Robter o percentil 95:

> quantile(data$V1, 0.95)
79515.2

Abordagem 4: Abordagem do Excel

Finalmente, me deparei com este , que explica como o Excel faz isso. O resumo do método é o seguinte:

Dado um conjunto de Nvalores ordenados{v[1], v[2], ...} e um requisito para calcular o pthpercentil, faça o seguinte:

Calcular l = p(N-1) + 1
Dividido l em componentes inteiros e decimais, ou sejal = k + d
Calcule o valor necessário como V = v[k] + d(v[k+1] - v[k])

Este método me dá 79515.2

Nenhum dos valores corresponde, embora eu confie que o valor de R seja o correto (observei também no gráfico ecdf). Meu objetivo é calcular o percentil 95 manualmente (usando apenas AVGe STDEVfunções) de um determinado conjunto de dados e não tenho muita certeza do que está acontecendo aqui. Alguém pode me dizer onde estou errado?

r dataset quantiles sql

— lenda
fonte

Sua primeira abordagem precisa ser reescrita: pode ser "pegar os 5% superiores dos valores e encontrar o mínimo deles", neste caso 79586, ou "pegar os 95% inferiores e encontrar o máximo deles", nesse caso 79535.

— Henry

A primeira abordagem está completamente errada e não tem nada a ver com o percentil 95, na minha opinião.

A segunda abordagem parece basear-se na suposição de que os dados são normalmente distribuídos, mas deve estar em torno de 1.645 desvios padrão acima da média, não em 2 desvios padrão, e parece que você percebeu isso. Este é um método ruim se os dados não forem normalmente distribuídos.

Se você quiser calcular o percentil 95, solicite os números do menor para o maior e encontre um valor que permita 95% dos dados abaixo desse valor. R provavelmente usa algum tipo de interpolação entre pontos de dados. Uma aproximação simples pode ser sort(data$V1)[0.95*length(data$V1)].

Editado após o comentário de @Macro.

— mark999
fonte

sua solução precisaria data$V1ser pré-classificada. De um modo mais geral,, sort(data$V1)[.95*length(data$V1)]seria a aproximação que você deseja. No entanto, se .95*length(data$V1)não for um número inteiro, ele seria arredondado para o número inteiro mais próximo ao indexar sort(data$V1), portanto, essa aproximação sempre subestimaria nesse caso.

— Macro

Obrigado por seu comentário. Eu sabia da subestimação, razão pela qual a chamei de uma aproximação simples, mas esqueci de incluir a classificação. Vou editar a resposta.

— mark999

Aqui estão alguns pontos para complementar a resposta de @ mark999.

A Wikipedia possui um artigo sobre percentis em que se observa que não existe uma definição padrão de percentil. No entanto, várias fórmulas são discutidas.
Crawford, J .; Garthwaite, P. & Slick, D. Sobre normas percentuais na neuropsicologia: padrões e métodos de relatório propostos para quantificar a incerteza sobre as classificações percentuais das pontuações dos testes O Neuropsicólogo Clínico, Psychology Press, 2009, 23, 1173-1195 ( PDF GRÁTIS ) cálculo de percentis dentro de um contexto normativo da psicologia.

O seguinte explora algumas coisas em R:

Obter dados e examinar a função quantílica R

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) mostra que R possui nove algoritmos diferentes de estimativa quantílica.
A outra saída mostra o valor estimado para os 9 algoritmos e a proporção dos dados que é menor ou igual ao valor estimado (ou seja, todos os valores estão próximos a 95%).

Compare com a suposição de distribuição normal

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Um valor muito diferente é estimado para o percentil 95 de uma distribuição normal com base na média da amostra e no desvio padrão.
O valor estimado é em torno do percentil 84 dos dados da amostra.
O gráfico abaixo mostra que os dados claramente não são normalmente distribuídos e, portanto, as estimativas baseadas no pressuposto de que a normalidade estão longe.

plot (densidade (x))

insira a descrição da imagem aqui

— Jeromy Anglim
fonte

forneceu uma resposta muito boa. Gostaria apenas de acrescentar que me parece que, na maioria dos casos, as diferenças entre as 9 estimativas são tão pequenas que importam muito pouco.

— Peter Flom - Restabelece Monica

O artigo da Wikipedia sobre quantiles é melhor do que aquele em percentis

— Henry

Algo está errado aqui, pois R deve fornecer números entre 75500 e 75600. Alguns dos valores de 1345 foram perdidos?

— 23711 Henry

@ Henry obrigado por isso. Na minha tentativa de minimizar o número de linhas exibidas para entrada na pergunta, coloquei o comando c (...) em apenas algumas linhas. Como resultado, acho que encontrei algum tipo de limite de comprimento da linha de comando que estava cortando alguns dados. Eu nunca tinha visto esse problema antes, porque normalmente eu teria esses dados em um arquivo separado. Atualizei meu script e a saída para que o comando c (...) agora abranja 120 linhas; Veja gist gist.github.com/1102127

— Jeromy Anglim

+1 Obrigado pelas informações adicionais. Apenas quando você postou isso, por curiosidade, eu estava olhando a distribuição usando um gráfico QQ e cheguei à mesma conclusão. Obrigado pelo seu tempo.

— Legenda