O que torna a regressão linear com recursos polinomiais curvos?

A seguir, entendo o que acontece: se eu pegar um "problema bidimensional", por exemplo, eu tenho $X$ como entradas e Y como o resultado e eu adiciono um recurso $x^2$ . Isso dá ao problema uma dimensão adicional e o ajuste linear no $x$ e $y$ Os valores definem uma linha, bem como o ajuste linear no $x^2$ e $y$ valores e as duas linhas definem um plano que é o melhor ajuste. Isso está correto? Como isso se traduz de volta ao espaço bidimensional? De alguma forma, isso aparece em duas dimensões como curvas? Quão?

regression polynomial

— user412953
fonte

x^{2}

$x^2$ não é uma dimensão adicional porque é determinada por

x

$x$ . as dimensões devem ser independentes até certo ponto, pelo menos

— Aksakal

@Aksakal No entanto, no sentido das dimensões do espaço da coluna da matriz do modelo,

x^{2}

$x^2$ geralmente introduz uma dimensão adicional. Essa parece ser uma maneira natural e útil de entender essa questão.

— whuber

Se estamos pensando em termos da matriz de design

X

$X$ que tem observações como linhas e variáveis como colunas, então

x^{2}

$x^2$ possui sua própria coluna e, nesse sentido, adiciona uma dimensão. por exemplo, uma matriz de covariância

p \times p

$p\times p$ será mais uma dimensão. além disso, em muitos casos, o matix ainda mantém sua posição

p

$p$ apesar de

x^{2}

$x^2$ sendo dependente

x

$x$ , porque não é linearmente dependente. é por isso que a regressão polinomial geralmente funciona. no entanto, às vezes pode falhar devido a colinearidade ou condição.

— Aksakal

Eu sugeriria o uso de polinômios ortogonais. eles estão livres de problemas de dependência de polinômios simples

— Aksakal

O uso de polinômios ortogonais em vez de mais simples não altera o resultado - ou seja, o ajuste estimado é o mesmo -, embora os polinômios ortogonais tenham algumas vantagens práticas. Isso não é diferente da maioria dos problemas de regressão multivariada, onde os preditores são correlacionados.

— Pere

Respostas:

Este é um pedaço de um avião em 3D.

Aqui está o mesmo plano com as coordenadas mostradas e um conjunto de pontos selecionados ao longo de sua $x$ eixo.

A terceira coordenada é usada para plotar os quadrados dessas $x$ valores, produzindo pontos ao longo de uma parábola na base da caixa de coordenadas.

Uma "cortina" vertical através da parábola cruza o avião em todos os pontos diretamente acima da parábola. Essa interseção é uma curva.

Um modelo polinomial supõe a resposta $y$ (representado na direção vertical) difere da altura deste plano em quantidades aleatórias. Os valores de $y$ correspondente a estes $x$ as coordenadas são mostradas como pontos vermelhos.

Consequentemente, o $(x,y)$ os pontos estão ao longo de uma curva - essa projeção - em vez de uma linha, mesmo que o modelo da resposta seja baseado no plano mostrado originalmente.

Moral

Quando as variáveis explicativas estão claramente em uma curva, as respostas também parecem estar em uma curva.

— whuber
fonte

Muito obrigado, isso foi muito útil.

— user412953

Se você tiver uma única variável independente x e uma única variável dependente y, "y = f (x)" será normalmente considerado bidimensional, mesmo que a relação entre essas duas variáveis seja complicada. Como exemplo hipotético, se um modelo experimental é "pressão = a * temperatura + b * log (temperatura) - c * seno (temperatura)", existem apenas duas variáveis: temperatura e pressão. Por esse motivo, esse relacionamento pode ser plotado como uma linha curva em um plano.

Se o modelo tiver duas variáveis independentes, como "pressão = a * log (temperatura) - b * exp (altitude)", ele terá a forma de "z = f (x, y)" e poderá ser plotado como um 3D superfície.

— James Phillips
fonte