Como a regressão quantílica "funciona"?


25

Espero obter uma explicação intuitiva e acessível da regressão quantílica.

Digamos que eu tenha um conjunto de dados simples do resultado Y e preditores X1,X2 .

Se, por exemplo, eu executar uma regressão quantílica em 0,25, 0,5, 0,75 e retornar β0,.25,β1,.25...β2,.75 .

Os valores de β são encontrados simplesmente ordenando os valores de y e realizando uma regressão linear com base nos exemplos que estão no / próximo ao quantil fornecido?

Ou todas as amostras contribuem para as estimativas β , com pesos descendentes à medida que a distância do quantil aumenta?

Ou é algo totalmente diferente? Ainda não encontrei uma explicação acessível.


3
Em relação a matemática que você pode encontrar essas duas respostas úteis: stats.stackexchange.com/questions/102906/... , stats.stackexchange.com/questions/88387/...
Andy

Respostas:


21

Eu recomendo Koenker & Hallock (2001, Journal of Economic Perspectives) e o livro de mesmo nome de Koenker .

  1. O ponto de partida é a observação de que a mediana de um conjunto de dados minimiza a soma dos erros absolutos . Ou seja, o quantil de 50% é uma solução para um problema de otimização específico (para encontrar o valor que minimiza a soma dos erros absolutos).
  2. A partir disso, é fácil descobrir que qualquer -quantil é a solução para um problema de minimização específico, ou seja, minimizar uma soma de erros absolutos ponderados assimetricamente , com pesos que dependem de τ .ττ
  3. Por fim, para dar o passo da regressão, modelamos a solução para esse problema de minimização como uma combinação linear de variáveis ​​preditivas; agora, o problema é encontrar não um único valor, mas um conjunto de parâmetros de regressão.

Portanto, sua intuição está correta: todas as amostras contribuem para as estimativas , com pesos assimétricos, dependendo do quantil τ que almejamos .βτ


Em relação ao seu ponto 1), isso não seria verdade apenas se Y fosse simetricamente distribuído? Se Y for inclinado como {1, 1, 2, 4, 10}, a mediana 2 certamente não minimizaria o erro absoluto. A regressão quantílica sempre assume que Y é simetricamente distribuído? Obrigado!
Ben

1
@ Ben: não, a simetria não é necessária. O ponto principal é que a mediana minimiza o erro absoluto esperado . Se você tiver uma distribuição discreta com os valores 1, 2, 4, 10 e probabilidades 0,4, 0,2, 0,2, 0,2, um resumo pontual de 2 realmente minimiza o erro absoluto esperado . Uma simulação é apenas algumas linhas de código R:foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")
S. Kolassa - Reinstate Monica

(E sim, eu deveria ter sido mais claro na minha resposta, em vez de discutir "somas".)
S. Kolassa - Restabelece Monica

Derp. O que eu estava pensando. Isso faz sentido agora, obrigado.
Ben

19

A idéia básica da regressão quantílica vem do fato de o analista estar interessado na distribuição de dados, e não apenas na média dos dados. Vamos começar com a média.

A regressão média ajusta uma linha da forma de à média dos dados. Em outras palavras, E ( Y | X = x ) = x β . Uma abordagem geral para estimar esta linha está usando o método dos mínimos quadrados, arg min β ( y - x β ) ( yy=XβE(Y|X=x)=xβ .argminβ(y-xβ)(y-Xβ)

Por outro lado, a regressão mediana procura uma linha que espera que metade dos dados esteja em lados opostos. Nesse caso, a função alvo é Ondeargminβ|y-Xβ|é a primeira norma.|.|

Estendendo a idéia de mediana para resultados quantis em regressão quantílica. A idéia por trás disso é encontrar uma linha em que percentagem de dados esteja além disso.α

Aqui você cometeu um pequeno erro: a regressão Q não é como encontrar um quantil de dados e ajustar uma linha a esse subconjunto (ou até as fronteiras que são mais desafiadoras).

A regressão Q procura uma linha que divide os dados em um qroup a quantil e o restante . Função de destino, dizendo função de verificação de Q-regressão é β alfa = arg min β { alfa | y - X β | I ( y > X β ) + ( 1 - α ) | y - X β | I ( y < X β ) } .α

β^α=argminβ{α|y-Xβ|Eu(y>Xβ)+(1-α)|y-Xβ|Eu(y<Xβ)}.

Como você vê, essa função inteligente de destino nada mais é do que traduzir quantil para um problema de otimização.

Além disso, como você vê, a regressão Q é definida para um determinado número ( βα ) e, em seguida, pode ser estendida para encontrar todos os quantis. Em outras palavras, a regressão Q pode reproduzir a distribuição (condicional) da resposta.


Essa resposta é brilhante.
Jinhua Wang
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.