Como saber a diferença entre modelos de regressão linear e não linear?

Eu estava lendo o seguinte link sobre regressão não linear SAS Não Linear . Meu entendimento ao ler a primeira seção "Regressão não-linear versus regressão linear" foi que a equação abaixo é realmente uma regressão linear, está correto? Se sim, por quê?

$$y = b_1x^3 + b_2x^2 + b_3x + c$$

Também devo entender que, na regressão não linear, a multicolinearidade não é um problema? Eu sei que a multicolinearidade pode ser um problema na regressão linear, então, com certeza, se o modelo acima é de fato uma regressão linear, haveria multicolinearidade?

Existem (pelo menos) três sentidos nos quais uma regressão pode ser considerada "linear". Para distingui-los, vamos começar com um modelo de regressão extremamente geral

$$Y = f(X,\theta,\varepsilon).$$

Para manter a discussão simples, considere as variáveis ​​independentes como fixas e medidas com precisão (em vez de variáveis ​​aleatórias). Eles modelar observações de atributos cada, dando origem a o -vector de respostas . Convencionalmente, é representado como uma matriz e como um vetor coluna . O ( vetor- finito ) compreende os parâmetros . é uma variável aleatória com valor vetorial. Geralmente temn p n Y X n × p Y $X$$n$$p$$n$$Y$$X$$n\times p$$Y$$n$$q$$\theta$$\varepsilon$$n$componentes, mas às vezes tem menos. A função é com valor vetorial (com componentes para corresponder a ) e geralmente é assumida contínua nos dois últimos argumentos ( e ).n Y $f$$n$$Y$$\theta$$\varepsilon$

O exemplo arquetípico , de ajustar uma linha aos dados , é o caso em que é um vetor de números - os valores x; é um vetor paralelo de números ; fornece a interceptação e slope ; e é um vetor de "erros aleatórios" cujos componentes são independentes (e geralmente assumidos como tendo distribuições idênticas mas desconhecidas do valor médio zero). Na notação anterior,$(x,y)$$X$Y N ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , ... , ε n$(x_i,\,i=1,2,\ldots,n)$$Y$$n$$(y_i)$$\theta = (\alpha,\beta)$$\alpha$$\beta$$\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

$$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$$

com .$\theta = (\alpha,\beta)$

A função de regressão pode ser linear em qualquer um (ou todos) de seus três argumentos:

• "Regressão linear, ou um" modelo linear ", normalmente significa que é linear em função dos parâmetros . O significado do SAS de" regressão não linear " é nesse sentido, com a suposição adicional de que é diferenciável em seu segundo argumento (os parâmetros). Essa suposição facilita a localização de soluções.$f$ $\theta$$f$

• Uma "relacionamento linear entre e " significa é linear como uma função de .Y f $X$$Y$$f$$X$

• Um modelo apresenta erros aditivos quando é linear em . Nesses casos, sempre se assume que . (Caso contrário, não seria correto pensar em como "erros" ou "desvios" dos valores "corretos".)ε E ( ε ) = 0 $f$$\varepsilon$$\mathbb{E}(\varepsilon) = 0$$\varepsilon$

Toda combinação possível dessas características pode acontecer e é útil. Vamos examinar as possibilidades.

1. Um modelo linear de um relacionamento linear com erros aditivos. Esta é uma regressão comum (múltipla), já exibida acima e mais geralmente escrita como

   $$Y = X\theta + \varepsilon.$$

   $X$ foi aumentado, se necessário, adjacente a uma coluna de constantes e é um vetor .$\theta$$p$

2. Um modelo linear de um relacionamento não linear com erros aditivos. Isso pode ser expresso como uma regressão múltipla aumentando as colunas de com funções não lineares do próprio X. Por exemplo,$X$$X$

   $$y_i = \alpha + \beta x_i^2 + \varepsilon$$

   é desta forma. É linear em ; possui erros aditivos; e é linear nos valores ( 1 , x 2 i ), mesmo que x 2 i seja uma função não linear de x i .$\theta=(\alpha,\beta)$$(1,x_i^2)$$x_i^2$$x_i$

3. Um modelo linear de um relacionamento linear com erros não aditivos. Um exemplo é erro multiplicativo,

   $$y_i = (\alpha + \beta x_i)\varepsilon_i.$$

   (Nesses casos, pode ser interpretado como "erro multiplicativo" quando a localização de ε i é 1. No entanto, o senso adequado de localização não é mais necessariamente a expectativa E ( ε i ) : pode ser a mediana ou a média geométrica, por exemplo. Um comentário semelhante sobre premissas de localização também se aplica, mutatis mutandis , em todos os outros contextos de erro não-aditivo.)$\varepsilon_i$$\varepsilon_i$$1$$\mathbb{E}(\varepsilon_i)$

4. Um modelo linear de um relacionamento não linear com erros não aditivos. Por exemplo ,

   $$y_i = (\alpha + \beta x_i^2)\varepsilon_i.$$

5. Um modelo não linear de uma relação linear com erros aditivos. Um modelo não linear envolve combinações de seus parâmetros que não apenas não são lineares, como também não podem ser linearizadas reexpressando os parâmetros.

   • Como um não exemplo, considere

     $$y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$$

     Definindo e β ′ = β 2 e restringindo β ′ ≥ 0 , este modelo pode ser reescrito$\alpha^\prime = \alpha\beta$$\beta^\prime=\beta^2$$\beta^\prime \ge 0$

     $$y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$$

     exibindo-o como um modelo linear (de uma relação linear com erros aditivos).

   • Como exemplo, considere

     $$y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$$

     É impossível encontrar um novo parâmetro , dependendo de α , que o linearize como uma função de α ′ (mantendo-o linear em x i ).$\alpha^\prime$$\alpha$$\alpha^\prime$$x_i$

6. Um modelo não linear de um relacionamento não linear com erros aditivos.

   $$y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$$

7. Um modelo não linear de um relacionamento linear com erros não aditivos.

   $$y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$$

8. Um modelo não linear de um relacionamento não linear com erros não aditivos.

   $$y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$$

---

Embora exibam oito formas distintas de regressão, elas não constituem um sistema de classificação porque algumas formas podem ser convertidas em outras. Um exemplo padrão é a conversão de um modelo linear com erros não aditivos (supostamente com suporte positivo)

$$y_i = (\alpha + \beta x_i)\varepsilon_i$$

em um modelo linear de uma relação não linear com erros aditivos via logaritmo,

$$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$$

Aqui, a média geométrica do log foi removida dos termos de erro (para garantir que eles tenham médias zero, conforme necessário) e incorporada nos outros termos (onde seu valor precisará ser estimado ) De fato, uma das principais razões para reexprimir a variável dependente Y é criar um modelo com erros aditivos. A re-expressão também pode linearizar Y como uma função de um (ou de ambos) dos parâmetros e variáveis ​​explicativas.$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$$Y$$Y$

---

Colinearidade

A colinearidade (dos vetores da coluna em ) pode ser um problema em qualquer forma de regressão. A chave para entender isso é reconhecer que a colinearidade leva a dificuldades na estimativa dos parâmetros. Abstrata e bastante geralmente, compare dois modelos Y = f ( X , θ , ε ) e Y = f ( X ′ , θ , ε ′ ) onde X ′ é X com uma coluna ligeiramente alterada. Se isso induz enormes mudanças nas estimativas$X$$Y = f(X,\theta,\varepsilon)$$Y=f(X^\prime,\theta,\varepsilon^\prime)$$X^\prime$$X$ e θ ', então, obviamente, nós temos um problema. Uma maneira pela qual esse problema pode surgir é em um modelo linear, linear emX(ou seja, tipos (1) ou (5) acima), onde os componentes deθestão em correspondência um-a-um com as colunas deX. Quando uma coluna é uma combinação linear não trivial das outras, a estimativa do seu parâmetro correspondente pode ser qualquer número real. Esse é um exemplo extremo de tal sensibilidade.$\hat\theta$$\hat\theta^\prime$$X$$\theta$$X$

Deste ponto de vista, deve ficar claro que a colinearidade é um problema potencial para modelos lineares de relações não lineares (independentemente da aditividade dos erros) e que esse conceito generalizado de colinearidade é potencialmente um problema em qualquer modelo de regressão. Quando você tem variáveis ​​redundantes, terá problemas para identificar alguns parâmetros.

Você deve começar agora fazendo a diferença entre a realidade e o modelo que está usando para descrevê-la

A equação que você acabou de mencionar é uma equação polinomial (x ^ potência), ie. não linear ... mas você ainda pode modelá-lo usando um modelo linear generlizado (usando uma função de link) ou regressão polinomail, pois os parâmetros são lineares (b1, b2, b3, c)

Espero que tenha ajudado, na verdade é um pouco superficial: realidade / modelo

Um modelo é linear se for linear em parâmetros ou pode ser transformado para ser linear em parâmetros (linearizável). Os modelos lineares podem modelar relacionamentos lineares ou não lineares. Vamos expandir cada um deles.

Um modelo é linear em parâmetros se puder ser escrito como a soma dos termos, em que cada termo é uma constante ou um parâmetro que multiplica um preditor (X _i ):

Observe que essa definição é muito estreita. Somente os modelos que atendem a essa definição são lineares. Todos os outros modelos são não lineares.

Existem dois tipos de modelos lineares que são confusos para modelos não lineares:

1. Modelos lineares de relações não lineares

Por exemplo, o modelo abaixo modela uma relação não linear (porque a derivada de Y em relação a X ₁ é uma função de X ₁ ). Criando uma nova variável W ₁ = X ₁ ² e reescrevendo a equação com W ₁ substituindo X ₁ ² , temos uma equação que satisfaz a definição de um modelo linear.

2. Modelos que não são imediatamente lineares, mas podem se tornar lineares após uma transformação (linearizável). Abaixo estão 2 exemplos de modelos linearizáveis:

Exemplo 1:

Este modelo pode parecer não linear porque não atende à definição de um modelo linear em parâmetros, no entanto, pode ser transformado em um modelo linear, portanto é linearizável / linearmente transformacional e, portanto, é considerado linear. modelo. As seguintes transformações o linearizariam. Comece tomando o logaritmo natural de ambos os lados para obter:

faça as seguintes substituições:

para obter o modelo linear abaixo:

Exemplo 2:

Este modelo pode parecer não linear porque não atende à definição de um modelo linear em parâmetros, no entanto, pode ser transformado em um modelo linear, portanto é linearizável / linearmente transformacional e, portanto, é considerado linear. modelo. As seguintes transformações o linearizariam. Comece tomando o recíproco de ambos os lados para obter:

faça as seguintes substituições:

para obter o modelo linear abaixo:

Qualquer modelo que não seja linear (nem mesmo por linearização) é não linear. Pense da seguinte maneira: se um modelo não atende à definição de modelo linear, ele é um modelo não linear, a menos que se prove que é linearizável; nesse ponto, ganha o direito de ser chamado de modelo linear.

A resposta de Whuber acima, bem como a resposta do Glen_b neste link, adicionará mais cor à minha resposta. Modelo linear não linear versus generalizado: como você se refere à regressão logística, de Poisson etc.?