Os resíduos são "previstos menos reais" ou "reais menos previstos"

46

Eu já vi "resíduos" definidos de várias maneiras como sendo "valores preditos menos reais" ou "valores reais menos preditos". Para fins de ilustração, para mostrar que as duas fórmulas são amplamente usadas, compare as seguintes pesquisas na Web:

Na prática, quase nunca faz diferença, uma vez que o sinal dos resíduos invidividuais geralmente não importa (por exemplo, se eles são quadrados ou se os valores absolutos são tomados). No entanto, minha pergunta é: uma dessas duas versões (previsão primeiro versus real primeiro) é considerada "padrão"? Eu gosto de ser consistente no meu uso; portanto, se houver um padrão convencional bem estabelecido, eu preferiria segui-lo. No entanto, se não houver um padrão, fico feliz em aceitá-lo como resposta, se for demonstrado de forma convincente que não existe uma convenção padrão.

residuals terminology error

— Tripartio
fonte

8

Como o resíduo está conectado ao erro do modelo, quando escrevemos

y = a + b x + ϵ

$y = a + bx + \epsilon$ , pensamos que

y

$y$ é uma "parte fixa" mais uma "parte aleatória", de modo que o resíduo é

y

$y$ menos o

a + b x

$a + bx$ .

— Adamo

Previsto menos real ou real menos previsto seria erro de previsão (ou o negativo), enquanto ajustado menos real ou real menos ajustado seria residual (ou negativo). A resposta de Stephen Kolassa menciona erros de previsão por um motivo.

— Richard Hardy

Acho (previsto-real) mais conveniente trabalhar. Frequentemente, você precisa calcular derivadas do resíduo com relação a alguns parâmetros. Se você usar (previsto real), aparecerão sinais de menos que você deve acompanhar durante todo o resto de seus cálculos, exigindo o uso de mais parênteses, certificando-se de cancelar os negativos duplos quando ocorrerem e assim por diante. Na minha experiência, isso leva a mais erros

— Nick Alger

42

Os resíduos são sempre reais menos o previsto. Os modelos são: Assim, os resíduos , que são estimativas de erros :

y = f (x; β) + ε

$y=f(x;\beta)+\varepsilon$

\hat{ε}

$\hat\varepsilon$

ε

$\varepsilon$

\hat{ε} = y - \hat{y} \hat{y} = f (x; \hat{β})

$\hat\varepsilon=y-\hat y\\\hat y=f(x;\hat\beta)$

Concordo com @whuber que o sinal realmente não importa matematicamente. É bom ter uma convenção. E a convenção atual é como na minha resposta.

Como o OP desafiou minha autoridade nesse assunto, estou adicionando algumas referências:

" (2008) Residual. In: The Concise Encyclopedia of Statistics. Springer, Nova York, NY , que dá a mesma definição.
Os "Métodos Estatísticos para Pesquisadores" de Fisher, de 1925, também têm a mesma definição, consulte a Seção 26 nesta versão de 1934 . Apesar do título modesto, este é um trabalho importante no contexto histórico

— Aksakal
fonte

3

Editei minha pergunta para adicionar alguns exemplos de pesquisas na Web que mostram claramente que os resíduos NÃO SEMPRE são reais, menos o previsto; a alternativa também é bastante frequente - daí a minha confusão. Minha pergunta é se existe uma documentação autorizada da convenção correta, que, infelizmente, sua resposta não fornece.

— Tripartio

5

Na minha leitura observada

prevista é a maioria das convenções modernas em estatística. É notável, no entanto, que Gauss usou a convenção oposta: os resíduos naturalmente quadrados são os mesmos de qualquer maneira no contexto de mínimos quadrados, somas de quadrados ou quadrados médios. Embora existam precedentes do século XIX e anteriores para examinar os resíduos individuais, o cuidado e a plotagem de resíduos não começaram a se tornar difundidos e rotineiros até o início dos anos 60. Ou seja, é somente quando o sinal dos resíduos está à vista que alguém precisa se importar com o que é.

-

$-$

— Nick Cox

18

+1. O conceito de resíduo deriva de "um restante; o que é deixado para trás" : em outras palavras, o que permanece nos dados após a previsão ter sido contabilizada. Isso sugere que quem chamou essas quantidades de "residual" teve em mente a definição "valor dos dados menos valor ajustado".

— whuber

3

@NickCox, você poderia formalizar seus comentários como resposta, com citações? Minha pergunta não é tanto sobre estatísticas, mas também sobre convenções científicas; portanto, o tipo de informações históricas e de uso indicadas no seu comentário são as respostas que eu estou procurando.

— Tripartio

6

A palavra residual longo, longo é anterior a Salsburg. Devo dizer que seu livro, embora às vezes divertido, está longe de ser autoritário. Se estiver interessado pode procurar meu comentário em Biometrics jstor.org/stable/3068274

— Nick Cox

22

Acabei de encontrar um motivo convincente para uma resposta ser a correta.

A regressão (e a maioria dos modelos estatísticos de qualquer tipo) diz respeito a como as distribuições condicionais de uma resposta dependem de variáveis explicativas. Um elemento importante da caracterização dessas distribuições é uma medida geralmente denominada "assimetria" (embora várias fórmulas tenham sido oferecidas): refere-se à maneira mais básica pela qual a forma distributiva se afasta da simetria. Aqui está um exemplo de dados bivariados (uma resposta e uma única variável explicativa ) com respostas condicionais inclinadas positivamente: $y$ $x$

A curva azul é o ajuste mínimo dos quadrados comuns. Traça os valores ajustados.

Quando calculamos a diferença entre uma resposta e seu valor equipada , mudamos o local da distribuição condicional, mas não de outra forma alterar a sua forma. Em particular, sua assimetria não será alterada. $y$ $\hat y$

Este é um gráfico de diagnóstico padrão que mostra como as distribuições condicionais alteradas variam com os valores previstos. Geometricamente, é quase o mesmo que "antecipar" o gráfico de dispersão anterior.

Se em vez disso, calcular a diferença na outra este vai deslocar e depois inverter a forma da distribuição condicional. Sua assimetria será negativa da distribuição condicional original. $\hat y - y,$

Isso mostra as mesmas quantidades da figura anterior, mas os resíduos foram calculados subtraindo os dados de seus ajustes - o que, é claro, é o mesmo que negar os resíduos anteriores.

Embora ambas as figuras anteriores sejam matematicamente equivalentes em todos os aspectos - uma é convertida na outra simplesmente lançando os pontos no horizonte azul - uma delas tem uma relação visual muito mais direta com a trama original.

Conseqüentemente, se nosso objetivo é relacionar as características distributivas dos resíduos às características dos dados originais - e quase sempre é esse o caso - , é melhor simplesmente mudar as respostas do que mudá-las e revertê-las.

A resposta certa é clara: calcular seus resíduos como $y - \hat y.$

— whuber
fonte

1

Acho que não sigo aqui o que há de especial na assimetria - o seu argumento sobre os resíduos correspondentes à trama original não se sustenta imediatamente?

— MichaelChirico

2

@ Michael Você está certo. A assimetria é útil, no entanto, para ilustrar o ponto, porque distingue claramente a forma de uma distribuição da forma negativa.

— whuber

10

Green & Tashman (2008, Foresight ) relatam uma pequena pesquisa sobre a questão análoga de erros de previsão. Vou resumir argumentos para qualquer convenção, conforme relatado por eles:

Argumentos para "previsão real"

A convenção estatística é . $y=\hat{y}+\epsilon$
Pelo menos um entrevistado da sismologia escreveu que esta também é a convenção para modelar o tempo de viagem das ondas sísmicas. "Quando a onda sísmica real chega antes do tempo previsto pelo modelo, temos um tempo de viagem negativo residual (erro)." ( sic )
Esta convenção faz sentido se interpretamos como um orçamento, plano ou meta. Aqui, um erro positivo significa que o orçamento / plano / meta foi excedido. $\hat{y}$
Esta convenção torna as fórmulas para suavização exponencial um pouco mais intuitivas. Podemos usar um sinal de . Com a outra convenção, precisaríamos usar um sinal de . $+$ $-$

Argumentos para "predito-real"

Se , então um erro positivo indica que a previsão era demasiado elevado. Isso é mais intuitivo que o inverso. $y=\hat{y}-\epsilon$

De maneira semelhante, se um viés positivo for definido como erros esperados positivos , isso significa que as previsões são, em média, muito altas com esta convenção.

E este é praticamente o único argumento dado para esta convenção. Por outro lado, considerando os mal-entendidos que a outra convenção pode levar (erros positivos = previsão muito baixa), é forte.

No final, eu argumentaria que tudo se resume a quem você precisa comunicar seus resíduos. E, como certamente há dois lados nessa discussão, faz sentido anotar explicitamente qual convenção você segue.

— S. Kolassa - Restabelecer Monica
fonte

7

Pontos interessantes, mas sempre que alguém diz "intuitivo", eu traduzo isso como "familiar para mim" e a tradução geralmente é mais convincente e nunca menos. Tente o seguinte: a convenção de somatório de Einstein é intuitiva. Somente quando você se acostumar. A medição de ângulos do eixo

no sentido anti-horário é intuitiva. Não para geógrafos ou qualquer pessoa que aprendeu a usar uma bússola antes de estudar geometria de coordenadas.

x

$x$

— Nick Cox

3

@ NickCox: abstratamente, você está certo. No entanto, pegue um grande número de pessoas e pergunte-lhes: "A previsão do tempo para a temperatura atual teve um grande erro positivo . Você acredita que a previsão era (A) muito alta ou (B) muito baixa ?" Penso que posso prever qual das alternativas (A) ou (B) a maioria esmagadora escolherá.

— S. Kolassa - Restabelece Monica

6

Sim - e se você formular essa pergunta como "Você acredita que a temperatura foi (A) mais alta ou (B) mais baixa do que a previsão", poderá muito bem obter exatamente as respostas opostas ! Referir-se a um "erro positivo" apenas levanta a questão de "qual é o erro", e isso nos leva - de uma maneira perfeitamente circular - de volta à pergunta original.

— whuber

2

@ Whuber que é uma frase bastante natural da questão embora. Dado que o "observado" é "fixo", a relação do modelo com ele parece mais natural do que o contrário. Recebo uma multa por excesso de velocidade, em vez de "o limite de velocidade estar abaixo da minha velocidade". Os argumentos da linguagem natural definitivamente têm uma aplicação limitada aos termos / linguagem técnicos /

— mbrig 24/04/19

2

@whuber O que estou dizendo é que uma maneira de formular a pergunta é claramente mais natural (pelo menos em inglês).

— mbrig

4

Terminologia diferente sugere convenções diferentes. O termo "residual" implica que é o que resta depois que todas as variáveis explicativas foram levadas em consideração, isto é, o previsto. "Erro de previsão" implica que é quanto a previsão se desvia do real, ou seja, previsão atual.

$X = x_1,x_2...$ $y$ $\hat y$

$y$ $\hat y$ $X$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $y$ $e = \hat y -y$

$\hat y$ $X$ $X$ $x \rightarrow f(X)\rightarrow f(X)+error()$ $\hat y$ $X$ $y$ $\sqrt{\frac{2x}{g}}$

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$

$\hat y$ $y$ $\hat y$ $X$

$\sqrt{\frac{2x}{g}}$ $y = \hat y +error$

$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$

— Acumulação
fonte

4

A resposta de @Aksakal está completamente correta, mas vou adicionar um elemento adicional que acho que me ajuda (e meus alunos).

O lema: As estatísticas são "perfeitas". Como sempre, sempre posso fornecer a previsão perfeita (eu sei que algumas sobrancelhas estão se levantando agora ... então me ouça).

$y_i$ $\hat{y}_i$

y_{Eu} \neq {\hat{y}}_{Eu}

$y_i \ne \hat{y}_i$

ϵ_{i}

$\epsilon_i$

y_{Eu} = {\hat{y}}_{Eu} + ϵ_{Eu}

$y_i = \hat{y}_i + \epsilon_i$ Agora, temos uma previsão "perfeita" ... nosso valor "final" corresponde ao valor observado.

$\epsilon_i$

— Gregg H
fonte

2

{\hat{y}}_{i} - y_{i}

$\hat{y}_i - y_i$

6

Por que "melhor adicioná-lo ao nosso valor previsto"? Por que não "ver quanto o dado precisa ser ajustado para concordar com nossa previsão"? Nenhuma das abordagens parece pretender ser mais óbvia, significativa ou "intuitiva" que a outra.

— whuber

2

@whuber um item é "real" (observado, concreto), o outro é um construto (hipotético); se estivéssemos modelando a altura com base no peso, seria razoável "encolher" alguém 3 polegadas apenas para corresponder sua altura real / observada a algum valor (imaginário) previsto?

— Gregg H

2

Sim - essa é uma maneira comum de pensar sobre dados. Estou apenas tentando apontar a possibilidade de que suas suposições sobre como as pessoas vão perceber essa pergunta e entender o significado de "melhor" possam ser especulativas e subjetivas.

— whuber

ponto justo ... irá atualizar com comentários breve

— Gregg H

2

$\newcommand{\e}{\varepsilon}$ $Y = X\beta + \e$ $\e = Y - X\beta$ $\hat \e = Y - \hat Y$ $Y = X\beta - \e$ $\e = X\beta - Y \implies \hat \e = \hat Y - Y$ $1$ $-1$

$\hat \e = Y - \hat Y$ $(I - P_X)Y$ $I - P_X$ $X$ $Y = X\beta - \e$ $\hat \e = (P_X - I)Y$ $P_X - I$ $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$ $P_X - I$ $I - P_X$ $Y = X\beta - \e$ $Y = X\beta + \e$ $Y - \hat Y$

$\hat Y - Y$ $Y - \hat Y$

— jld
fonte

+ e

$+ e$

e

$e$

y = β_{0} + β_{1} x

$y = \beta_0 + \beta_1 x$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

e

$e$

Y = X β + ε

$Y = X\beta + \varepsilon$