Tamanhos de efeito de regressão linear ao usar variáveis ​​transformadas

Ao executar a regressão linear, geralmente é útil fazer uma transformação como a transformação logarítmica da variável dependente para obter uma melhor conformação da distribuição normal. Muitas vezes, também é útil inspecionar os beta's da regressão para avaliar melhor o tamanho do efeito / relevância real dos resultados.

Isso levanta o problema de que, ao usar, por exemplo, transformação de log, os tamanhos dos efeitos estarão em escala de log, e me disseram que, devido à não linearidade da escala usada, a transformação posterior desses beta resultará em valores não significativos que não tem nenhum uso no mundo real.

Até aqui, geralmente executamos regressão linear com variáveis ​​transformadas para inspecionar a significância e, em seguida, regressão linear com as variáveis ​​não transformadas originais para determinar o tamanho do efeito.

Existe uma maneira certa / melhor de fazer isso? Na maioria das vezes, trabalhamos com dados clínicos, portanto, um exemplo da vida real seria determinar como uma determinada exposição afeta variáveis ​​contínuas, como altura, peso ou alguma medida de laboratório, e gostaríamos de concluir algo como "exposição A teve o efeito" de aumentar o peso em 2 kg ".

Eu sugeriria que as transformações não são importantes para obter uma distribuição normal para seus erros. Normalidade não é uma suposição necessária. Se você tiver dados "suficientes", o teorema do limite central entra em ação e suas estimativas padrão se tornam assintoticamente normais. Como alternativa, você pode usar a inicialização como um meio não paramétrico para estimar os erros padrão. (A homocedasticidade, uma variação comum para as observações entre as unidades, é necessária para que seus erros padrão estejam corretos; opções robustas permitem a heterocedasticidade).

Em vez disso, as transformações ajudam a garantir que um modelo linear seja apropriado. Para dar uma idéia disso, vamos considerar como podemos interpretar os coeficientes em modelos transformados:

• resultado é unidades, preditores são unidades: uma alteração de uma unidade no preditor leva a uma alteração na unidade beta no resultado.
• resultado em unidades, preditor em unidades de log: uma alteração de um por cento no preditor leva a uma alteração de unidade beta / 100 no resultado.
• resultado em unidades de log, preditor em unidades: uma alteração de uma unidade no preditor leva a uma alteração beta x 100% no resultado.
• resultado em unidades de log, preditor em unidades de log: uma alteração de um por cento no preditor leva a uma alteração percentual beta no resultado.

Se forem necessárias transformações para que seu modelo faça sentido (ou seja, para que a linearidade seja mantida), a estimativa desse modelo deve ser usada para inferência. Uma estimativa de um modelo que você não acredita não é muito útil. As interpretações acima podem ser bastante úteis para entender as estimativas de um modelo transformado e geralmente podem ser mais relevantes para a questão em questão. Por exemplo, economistas gostam da formulação log-log porque a interpretação de beta é uma elasticidade, uma medida importante em economia.

Eu acrescentaria que a transformação reversa não funciona porque a expectativa de uma função não é a função da expectativa; o log do valor esperado de beta não é o valor esperado do log de beta. Portanto, seu estimador não é imparcial. Isso também gera erros padrão.

RESPOSTA RESUMIDA: absolutamente correta, a transformação reversa do valor beta não faz sentido. No entanto, você pode relatar a não linearidade como algo parecido. "Se você pesa 100 kg, comer dois pedaços de bolo por dia aumentará seu peso em aproximadamente 2 kg em uma semana. No entanto, se você pesar 200 kg, seu peso aumentará 2,5 kg. Consulte a figura 1 para obter uma representação dessa relação não linear ( figura 1 sendo um ajuste da curva sobre os dados brutos) ".

RESPOSTA LONGA:

A significância do valor transformado de volta varia, mas quando feito corretamente, geralmente tem algum significado.

Se você tem uma regressão dos valores naturais do log em dois x preditores com beta de 0,13 e interceptação de 7,0, a transformação de volta de 0,13 (1,14) é praticamente sem sentido. Está correto. No entanto, a transformação reversa de 7.13 será um valor que pode ser interpretado com algum significado. Você pode subtrair a transformação reversa de 7.0 e ficar com um valor restante que é seu efeito em uma escala significativa (152.2). Se você quiser examinar qualquer valor previsto, primeiro precisará calcular tudo em valores de log e depois transformar novamente. Isso teria que ser feito separadamente para cada valor previsto e resultar em uma curva se representado graficamente.

Geralmente, isso é razoável se a sua transformação tiver um efeito relativamente pequeno nos seus dados. A transformação logarítmica dos tempos de reação é um tipo de valor que pode ser transformado novamente. Quando feito corretamente, você descobrirá que os valores parecem próximos aos valores medianos, fazendo cálculos simples nos dados brutos.

Mesmo assim, é preciso ter cuidado com interações e não interações. Os valores relativos variam na escala. A análise foi sensível ao valor do log, enquanto os valores transformados de volta podem mostrar padrões diferentes que fazem as interações parecerem que não deveriam estar lá ou vice-versa. Em outras palavras, você pode voltar a transformar coisas que fazem pequenas alterações nos dados, desde que você seja cuidadoso.

Algumas mudanças, como a transformação logística da probabilidade, podem ter impactos bastante maciços, especialmente perto do final da escala. Um exemplo de um lugar que você nunca deve transformar de volta são os gráficos de interação próximos ao limite máximo ou mínimo de probabilidade.

A questão é sobre efeitos marginais (de X em Y), eu acho, não tanto sobre a interpretação de coeficientes individuais. Como as pessoas notaram com utilidade, elas são identificadas apenas com o tamanho de um efeito, por exemplo, quando existem relações lineares e aditivas.

Se esse é o foco, a maneira (conceitualmente, se não praticamente) mais simples de pensar sobre o problema parece ser a seguinte:

Para obter o efeito marginal de X em Y, em um modelo de regressão linear normal, sem interações, você pode simplesmente olhar para o coeficiente de X. Mas isso não é suficiente, uma vez que é estimado não é conhecido. De qualquer forma, o que se realmente deseja para efeitos marginais é algum tipo de gráfico ou resumo que forneça uma previsão sobre Y para uma faixa de valores de X e uma medida de incerteza. Normalmente, pode-se querer a média Y prevista e um intervalo de confiança, mas também se pode desejar previsões para a distribuição condicional completa de Y para um X. Essa distribuição é mais ampla que a estimativa sigma do modelo ajustado porque leva em consideração a incerteza sobre os coeficientes do modelo. .

Existem várias soluções de formulário fechado para modelos simples como este. Para os propósitos atuais, podemos ignorá-los e, em vez disso, pensar mais em como obter esse gráfico de efeitos marginais por simulação, de uma maneira que lide com modelos arbitrariamente complexos.

Suponha que você queira os efeitos da variação de X na média de Y e fique feliz em corrigir todas as outras variáveis ​​em alguns valores significativos. Para cada novo valor de X, tire uma amostra do tamanho B da distribuição dos coeficientes do modelo. Uma maneira fácil de fazer isso em R é assumir que é Normal com coef(model)matriz de média e covariância vcov(model). Calcule um novo Y esperado para cada conjunto de coeficientes e resuma o lote com um intervalo. Em seguida, passe para o próximo valor de X.

Parece-me que esse método não deve ser afetado por transformações sofisticadas aplicadas a qualquer uma das variáveis, desde que você também as aplique (ou seus inversos) em cada etapa da amostragem. Portanto, se o modelo ajustado tiver log (X) como preditor, registre seu novo X antes de multiplicá-lo pelo coeficiente amostrado. Se o modelo ajustado tiver sqrt (Y) como uma variável dependente, calcule ao quadrado cada média prevista na amostra antes de resumi-la como um intervalo.

Em resumo, mais programação, mas menos cálculo de probabilidade e efeitos marginais clinicamente compreensíveis como resultado. Este 'método' é algumas vezes referido como CLARIFY na literatura de ciência política, mas é bastante geral.