Como estimar o terceiro quartil de dados em bin?

12

Existe algum truque técnico para determinar o terceiro quartil se ele pertence a um intervalo aberto que contém mais de um quarto da população (então não posso fechar o intervalo e usar a fórmula padrão)?

Editar

Caso eu entenda mal algo, fornecerei um contexto mais ou menos completo. Eu tenho dados organizados em uma tabela com duas colunas e, digamos, 6 linhas. Com cada coluna corresponde um intervalo (na primeira coluna) e uma quantidade de população que "pertence" a esse intervalo. O último intervalo está aberto e inclui mais de 25% da população. Todos os intervalos (com exceção do último) têm o mesmo intervalo.

Dados de amostra (transpostos para apresentação):

Column 1: (6;8),(8;10),(10;12),(12;14),(14;16),(16;∞)
Column 2:    51,    65,     68,     82,     78,   182

A primeira coluna deve ser interpretada como uma faixa de nível de renda. O segundo deve ser interpretado como o número de funcionários cuja renda pertence ao intervalo.

A fórmula padrão em que estou pensando é . $\mathbb{Q}_{3}=x_{Q_{3}}+ \frac{\frac{3N}{4}- \sum_{i=1}^{k-1}n_{i}}{n_{Q_{3}}}r_{Q_{3}}$

distributions histogram descriptive-statistics

— um pouco
fonte

Uma suposição comum ao tentar estimar quantis com dados em bin é assumir uniformidade dentro de compartimentos. Mas quando você sabe algo sobre a maneira como os dados provavelmente serão distribuídos (como nas rendas, que são a inclinação correta), pressupostos que refletem que o conhecimento tenderão a ser melhores. Outra alternativa seria assumir que os dados são suaves e suavizar os dados (seja pelo KDE ou por alguma distribuição ajustada), redistribuir pontos nos compartimentos de acordo com o modelo [e possivelmente re-estimar (de maneira semelhante ao EM) o ajuste, e redistribuir novamente nos compartimentos] e depois estimar quantis a partir disso.

— Glen_b -Reinstala Monica

16

Você precisa ajustar esses dados em bin com algum modelo de distribuição, pois essa é a única maneira de extrapolar para o quartil superior.

Uma modelo

Por definição, esse modelo é dado por uma função cadlag subindo de a . A probabilidade que ele atribui a qualquer intervalo é .Para fazer o ajuste, é necessário postar uma família de funções possíveis indexadas por um parâmetro (vetor) , Supondo que a amostra resuma uma coleção de pessoas escolhidas aleatoriamente e independentemente de uma população descrita por algum específico (mas desconhecido) $F$ $0$ $1$ $(a,b]$ $F(b)-F(a)$ $\theta$ $\{F_\theta\}$ $F_\theta$ , a probabilidade da amostra (ou probabilidade , ) é o produto das probabilidades individuais. No exemplo, seria igual $L$

L (θ) = (F_{θ} (8) - F_{θ} (6))^{51} (F_{θ} (10) - F_{θ} (8))^{65} \dots (F_{θ} (\infty) - F_{θ} (16))^{182}

$L(\theta) = (F_\theta(8) - F_\theta(6))^{51} (F_\theta(10) - F_\theta(8))^{65} \cdots (F_\theta(\infty) - F_\theta(16))^{182}$

porque das pessoas têm probabilidades associadas , têm probabilidades e assim por diante. $51$ $F_\theta(8) - F_\theta(6)$ $65$ $F_\theta(10) - F_\theta(8)$

Ajustando o Modelo aos Dados

A estimativa de máxima verossimilhança de é um valor que maximiza (ou, equivalentemente, o logaritmo de ). $\theta$ $L$ $L$

As distribuições de renda geralmente são modeladas por distribuições normais (veja, por exemplo, http://gdrs.sourceforge.net/docs/PoleStar_TechNote_4.pdf ). Escrevendo , a família de distribuições lognormal é $\theta = (\mu,\sigma)$

F_{(μ, σ)} (x) = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{(\log (x) - μ) / σ} \exp (- t^{2} / 2) d t .

$F_{(\mu, \sigma)}(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{(\log(x)-\mu)/\sigma} \exp(-t^2/2) dt.$

Para esta família (e muitas outras), é fácil otimizar numericamente. Por exemplo, escreveríamos uma função para calcular e, em seguida, otimizá-la, porque o máximo de coincide com o máximo de si e (geralmente) é mais simples de calcular e numericamente mais estável para trabalhar: $L$ R $\log(L(\theta))$ $\log(L)$ $L$ $\log(L)$

logL <- function(thresh, pop, mu, sigma) {
  l <- function(x1, x2) ifelse(is.na(x2), 1, pnorm(log(x2), mean=mu, sd=sigma)) 
                        - pnorm(log(x1), mean=mu, sd=sigma)
  logl <- function(n, x1, x2)  n * log(l(x1, x2))
  sum(mapply(logl, pop, thresh, c(thresh[-1], NA)))
}

thresh <- c(6,8,10,12,14,16)
pop <- c(51,65,68,82,78,182)
fit <- optim(c(0,1), function(theta) -logL(thresh, pop, theta[1], theta[2]))

A solução neste exemplo é , encontrada no valor $\theta = (\mu,\sigma)=(2.620945, 0.379682)$ fit$par .

Verificando suposições do modelo

Precisamos pelo menos verificar se isso está de acordo com a normalidade de log assumida; portanto, escrevemos uma função para calcular : $F$

predict <- function(a, b, mu, sigma, n) {
  n * ( ifelse(is.na(b), 1, pnorm(log(b), mean=mu, sd=sigma)) 
        - pnorm(log(a), mean=mu, sd=sigma) )

É aplicado aos dados para obter as populações de posições ajustadas ou "previstas":

pred <- mapply(function(a,b) predict(a,b,fit$par[1], fit$par[2], sum(pop)), 
               thresh, c(thresh[-1], NA))

Podemos desenhar histogramas dos dados e a previsão para compará-los visualmente, mostrados na primeira linha desses gráficos:

Histogramas

Para compará-los, podemos calcular uma estatística qui-quadrado. Isso geralmente é referido a uma distribuição qui-quadrado para avaliar a significância :

chisq <- sum((pred-pop)^2 / pred)
df <- length(pop) - 2
pchisq(chisq, df, lower.tail=FALSE)

$0.0087$ $6-8$ $6$ $3$ $0.40$

Usando o ajuste para estimar quantis

$6$ $3$ $(\mu, \sigma)$ $(2.620334, 0.405454)$ $F$ $75^{\text{th}}$

exp(qnorm(.75, mean=fit$par[1], sd=fit$par[2]))

$18.06$ $6$ $3$ $17.76$

Esses procedimentos e esse código podem ser aplicados em geral. A teoria da probabilidade máxima pode ser explorada ainda mais para calcular um intervalo de confiança em torno do terceiro quartil, se isso for interessante.

— whuber
fonte

Uau, obrigada! Devo admitir que não esperava que uma maquinaria tão avançada (pelo menos para mim) fosse usada para encontrar solução.

— Atad

O mecanismo não precisa ser avançado ou sofisticado, mas o que você deve seguir as mesmas linhas gerais deste exemplo: assuma algo sobre a distribuição de renda, use-o para se ajustar a um modelo matemático, verifique o modelo quanto à razoabilidade e, se for um ajuste razoável, use-o para calcular o quartil. Ao longo do caminho, use métodos gráficos, pois eles podem revelar padrões interessantes. (Aqui, o interesse é que exista um aparente afastamento da normalidade do log na faixa de baixa renda: eu me perguntaria por que isso ocorre e o que isso pode dizer sobre essa população.)

— whuber

+1, ótima resposta. Parece que vou ter que aprender R ainda.

— DAV

8

Tempo demais para um comentário:

a resposta de whubers é tão boa quanto qualquer outra, mas ele assume a inclinação correta em seu modelo log-normal. Isso pode ser realista para a renda da população em geral, mas pode não ser para a renda de um único empregador em um determinado nível.

$68$ $64$ $50$ $17.5$ .

$80$ $17.3$ .

$17$

— Henry
fonte

1

(+1) Obrigado por enfatizar (e analisar) a dependência da resposta nas suposições do modelo. Se (no exemplo) você não pode assumir nada, tudo o que você pode dizer é que o terceiro quartil excede

16

$16$ . Se você assume um modelo, pelo menos pode dizer ao consumidor de seu conselho: "se sua imagem da distribuição de renda é pelo menos aproximadamente o que eu assumi, então você pode usar meu resultado como uma estimativa razoável da terceira quantil ". (A maioria das conclusões estatísticas são implicitamente condicionais deste tipo.)

— whuber