Por que não podemos usar para transformações de variáveis dependentes?

Imagine que temos um modelo de regressão linear com variável dependente . Encontramos seu . Agora, fazemos outra regressão, mas desta vez em , e também encontramos seu . Foi-me dito que não posso comparar os dois para ver qual modelo é mais adequado. Por que é que? A razão que me foi dada foi que comparamos a variabilidade de diferentes quantidades (diferentes variáveis dependentes). Não sei se isso deve ser uma razão suficiente para isso. $y$ $R^2_y$ $\log(y)$ $R^2_{\log(y)}$ $R^2$

Também existe uma maneira de formalizar isso?

Qualquer ajuda seria apreciada.

regression data-transformation r-squared

— Um velho no mar.
fonte

Eu suspeito que isso possa ter sido discutido antes no Cross Validated. Você passou por tópicos semelhantes completamente? Além disso, você se preocupa com diferentes variáveis dependentes (como PIB x preço do petróleo) ou transformações da mesma variável (crescimento do PIB x PIB), ou ambas?

— Richard Hardy

@RichardHardy Encontrei alguns, mas acho que eles foram tangentes à minha pergunta. Como este: stats.stackexchange.com/questions/235117/… A resposta apenas afirma que sim, sem realmente explicar o porquê.

— Um velho no mar.

@RichardHardy Estou interessado em transformações da variável dependente.

— Um velho no mar.

R^{2}

$R^2$ comparações fazem sentido apenas entre modelos aninhados.

— LVRao 14/05

@LVRao Obrigado pelo seu comentário. Por que é tão?

— Um velho no mar.

É uma boa pergunta, porque "quantidades diferentes" não parecem ser uma grande explicação.

Há duas razões importantes para se desconfiar de usar para comparar esses modelos: é muito bruto ( realmente não avalia a qualidade do ajuste ) e será inadequado para pelo menos um dos modelos. Esta resposta aborda esse segundo problema. $R^2$

Tratamento Teórico

$R^2$ compara a variação dos resíduos do modelo com a variação das respostas. A variação é um desvio aditivo quadrado médio de um ajuste. Como tal, podemos entender como comparando dois modelos da resposta . $R^2$ $y$

O modelo "base" é

\begin{matrix} (1) & y_{i} = μ + δ_{i} \end{matrix}

$y_i = \mu + \delta_i\tag{1}$

onde é um parâmetro (a resposta média teórica) e são "erros" aleatórios independentes, cada um com média zero e uma variação comum de . $\mu$ $\delta_i$ $\tau^2$

O modelo de regressão linear apresenta os vetores como variáveis explicativas: $x_i$

\begin{matrix} (2) & y_{i} = β_{0} + x_{i} β + ε_{i} . \end{matrix}

$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$

O número e o vetor são os parâmetros (a interceptação e as "inclinações"). O novamente são erros aleatórios independentes, cada um com média zero e variância comum . $\beta_0$ $\beta$ $\varepsilon_i$ $\sigma^2$

$R^2$ estima a redução na variância, , em comparação com a variância original . $\tau^2-\sigma^2$ $\tau^2$

Quando você usa logaritmos e usa menos quadrados para ajustar-se ao modelo , você está implicitamente comparando um relacionamento da forma

\begin{matrix} (1a) & \log (y_{i}) = ν + ζ_{i} \end{matrix}

$\log(y_i) = \nu + \zeta_i\tag{1a}$

para um dos formulários

\begin{matrix} (2a) & \log (y_{i}) = γ_{0} + x_{i} γ + η_{i} . \end{matrix}

$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$

São exatamente como os modelos e mas com respostas de log. Eles não são equivalentes aos dois primeiros modelos, no entanto. Por exemplo, exponenciar os dois lados de daria $(1)$ $(2)$ $(2\text{a})$

y_{i} = \exp (\log (y_{i})) = \exp (γ_{0} + x_{i} γ) \exp (η_{i}) .

$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$

Os termos de erro agora multiplicam o relacionamento subjacente . Conseqüentemente, as variações das respostas são $\exp(\eta_i)$ $y_i = \exp(\gamma_0 + x_i\gamma)$

Var (y_{i}) = \exp (γ_{0} + x_{i} γ)^{2} Var (e^{η_{i}}) .

$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$

As variações dependem do . $x_i$ Esse não é o modelo , que supõe que todas as variações são iguais a uma constante . $(2)$ $\sigma^2$

Normalmente, apenas um desses conjuntos de modelos pode ser uma descrição razoável dos dados. A aplicação do segundo conjunto e quando o primeiro conjunto e for um bom modelo, ou o primeiro quando o segundo for bom, equivale a trabalhar com um conjunto de dados heteroscedástico não-linear, que, portanto, deve se ajustar mal a uma regressão linear. Quando qualquer uma dessas situações é o caso, podemos esperar que o melhor modelo exiba o maior . No entanto, e se não for o caso? Ainda podemos esperar que o maior nos ajude a identificar o melhor modelo? $(1\text{a})$ $(2\text{a})$ $(1)$ $(2)$ $R^2$ $R^2$

Análise

Em certo sentido, essa não é uma boa pergunta, porque, se nenhum dos modelos for apropriado, devemos encontrar um terceiro modelo. No entanto, a questão diante de nós diz respeito à utilidade de em nos ajudar a fazer essa determinação. Além disso, muitas pessoas pensam primeiro sobre a forma da relação entre e - é linear, logarítmica, é outra coisa - sem se preocupar com as características dos erros de regressão ou . Consideremos, portanto, uma situação em que nosso modelo acerta o relacionamento, mas está errado sobre sua estrutura de erros ou vice-versa . $R^2$ $x$ $y$ $\varepsilon_i$ $\eta_i$

Esse modelo (que geralmente ocorre) é um mínimo de quadrados adequado a um relacionamento exponencial,

\begin{matrix} (3) & y_{i} = \exp (α_{0} + x_{i} α) + θ_{i} . \end{matrix}

$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$

Agora, o logaritmo de é uma função linear de , como em , mas os termos de erro são aditivos , como em . Nesses casos, pode nos induzir a escolher o modelo com o relacionamento errado entre e . $y$ $x$ $(2\text{a})$ $\theta_i$ $(2)$ $R^2$ $x$ $y$

Aqui está uma ilustração do modelo . Existem observações para (um vetor 1 igualmente distribuído entre e ). O painel esquerdo mostra os dados originais enquanto o painel direito mostra os dados transformados . As linhas vermelhas tracejadas traçam o verdadeiro relacionamento subjacente, enquanto as linhas azuis sólidas mostram os mínimos quadrados. Os dados e o verdadeiro relacionamento são os mesmos nos dois painéis: apenas os modelos e seus ajustes diferem. $(3)$ $300$ $x_i$ $1.0$ $1.6$ $(x,y)$ $(x,\log(y))$

O ajuste às respostas do log à direita claramente é bom: quase coincide com o verdadeiro relacionamento e ambos são lineares. O ajuste às respostas originais à esquerda é claramente pior: é linear enquanto o verdadeiro relacionamento é exponencial. Infelizmente, possui um valor notavelmente maior de : comparação com . É por isso que não devemos confiar em para nos levar ao melhor modelo. É por isso que não devemos ficar satisfeitos com o ajuste, mesmo quando é "alto" (e em muitas aplicações, um valor de seria considerado realmente alto). $R^2$ $0.70$ $0.56$ $R^2$ $R^2$ $0.70$

Aliás, uma maneira melhor de avaliar esses modelos inclui testes de adequação (que indicariam a superioridade do modelo de log à direita) e gráficos de diagnóstico para estacionariedade dos resíduos (o que destacaria problemas nos dois modelos). Tais avaliações levariam naturalmente uma a um ajuste de mínimos quadrados ponderados de ou diretamente ao próprio modelo , que teria que ser ajustado usando métodos de máxima verossimilhança ou mínimos quadrados não lineares. $\log(y)$ $(3)$

— whuber
fonte

As críticas a R ^ 2 não são justas. Como toda ferramenta de uso deve ser bem compreendida. Nos seus exemplos acima, R ^ 2 está dando a mensagem correta. R ^ 2 está de certa forma escolhendo a melhor relação sinal / ruído. É claro que não é óbvio quando você coloca dois gráficos com escalas totalmente diferentes lado a lado. Na realidade, o sinal à esquerda é muito forte comparado aos desvios de ruído.

— Cagdas Ozgenc

@Cagdas Você parece oferecer uma mensagem inerentemente contraditória. Como as duas plotagens estão inevitavelmente em duas escalas diferentes - uma plotam as respostas originais e a outra plotam seus logaritmos -, então alegam que algo "não é óbvio", porque esse fato inevitável não parece apoiar o seu caso. Reclamar que essa resposta é "injusta" realmente não se sustenta à luz da análise explícita dos modelos que ofereci.

— whuber

Não há contradição no que estou dizendo. R ^ 2 escolhe a maior relação sinal / ruído. É o que está fazendo. Tentar transformá-lo em outra coisa e afirmar que não está funcionando é totalmente errado. Todas as críticas a R ^ 2 também se aplicam a outros indicadores de qualidade de ajuste quando aplicadas a diferentes variáveis de resposta, mas por alguma razão R ^ 2 é escolhido como o bode expiatório.

— Cagdas Ozgenc

Eu realmente estaria interessado em saber, @Cagdas, exatamente que parte dessa análise você vê como "bode expiatório" . Tanto quanto posso dizer, é uma avaliação imparcial e tecnicamente correta do que é e não é capaz de realizar. Não vejo como é relevante se referir a "relações sinal / ruído" quando, de fato, o exemplo mostra explicitamente como o melhor modelo (no sentido que descrevi, que concorda com o que a maioria das pessoas entende por "qualidade de ajuste") produz o pior .

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

Obrigado por sua ajuda whuber. Desculpe pela aceitação tardia, não tenho tido muito tempo livre ultimamente. ;)

— Um velho no mar.

Por que não podemos usar para transformações de variáveis ​​dependentes?

Tratamento Teórico

Análise

Por que não podemos usar para transformações de variáveis dependentes?