Distinção entre modelo linear e não linear

13

Eu li algumas explicações sobre as propriedades de modelos lineares versus não lineares, mas ainda não tenho certeza se um modelo disponível é linear ou não linear. Por exemplo, o seguinte modelo é linear ou não linear?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Com:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Onde representa a função polinomial de Almon Exponencial (a decadente) da forma: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

Na minha opinião, minha equação principal (a primeira) é linear em relação a , porque esse termo é apenas multiplicado por um peso. Mas eu diria que a função de ponderação (a última equação) não é linear em relação aos parâmetros ans . $X_t$ $\theta_1$ $\theta_2$

Alguém pode me explicar se minha função principal é linear ou não linear e o que isso significa para o procedimento de estimativa - tenho que aplicar o método dos mínimos quadrados lineares ou não lineares ?. Além disso, qual é a característica discernível por meio da qual eu posso definitivamente identificar se uma função é não linear ou linear?

linear-model nonlinear-regression nonlinear

— Minerador de dados
fonte

16

Com as definições usuais de linear e não linear em relação à modelagem, não é a linearidade em relação aos preditores que é o aspecto crítico, mas a linearidade em relação aos parâmetros. Um modelo não linear é não linear porque não é linear em parâmetros.

Por exemplo, a primeira frase aqui diz:

Em estatística, a regressão não linear é uma forma de análise de regressão na qual os dados observacionais são modelados por uma função que é uma combinação não linear dos parâmetros do modelo e depende de uma ou mais variáveis independentes.

Por outro lado, os Modelos Lineares Generalizados geralmente têm uma relação não linear entre resposta e preditores, mas a resposta média transformada em link (o preditor linear , $\eta$ ) é linear nos parâmetros.

[Por essa definição, acredito que seu modelo não é linear nos s, embora, se os s forem especificados (conhecidos), essa não linearidade não seja relevante para a estimativa. Se estiverem sendo montados, o modelo não será linear.] $\theta$ $\theta$

— Glen_b -Reinstate Monica
fonte

9

Eu concordo com Glen_b. Em problemas de regressão, o foco principal está nos parâmetros e não na variável ou preditor independente, x. E então podemos decidir se queremos linearizar o problema empregando transformações simples ou procedê-lo como tal.

Problemas lineares: contar o número de parâmetros em seu problema e verificar se todos eles têm poder de 1. Por exemplo, . Esta função não é linear em . Mas para problemas de regressão, a não linearidade em não é um problema. É preciso verificar se os parâmetros são lineares ou lineares. Nesse caso, , , $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ , .. todos têm poder 1. Então, eles são lineares. $f$

Observe que, em , embora a pareça ter potência 1, mas quando expandido . Você pode ver claramente que é um parâmetro não linear, pois a possui uma potência maior que 1. Mas, esse problema pode ser linearizado invocando uma transformação logarítmica. Ou seja, um problema de regressão não linear é convertido em um problema de regressão linear. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

$y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Agora suponha que . Isso é mais uma vez não linear em relação aos parâmetros. Mas, não pode ser linearizado. É preciso usar uma regressão não linear. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

Em princípio, usar uma estratégia linear para resolver um problema de regressão não linear não é uma boa ideia. Portanto, lide com problemas lineares (quando todos os parâmetros tiverem poder 1) usando regressão linear e adote a regressão não linear se seus parâmetros não forem lineares.

$\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Adote uma técnica não linear de mínimos quadrados para resolvê-la. Escolha os valores iniciais de maneira inteligente e use uma abordagem de várias etapas para encontrar os mínimos globais.

Este vídeo será útil (embora não fale sobre solução global): http://www.youtube.com/watch?v=3Fd4ukzkxps

Usando o solucionador não-linear GRG na planilha do Excel (instale o pacote de ferramentas do solucionador, vá para as opções - Suplementos - Suplementos do Excel e, em seguida, escolha o Suplemento do Solver) e invoque o multistart na lista de opções, prescrevendo intervalos para os parâmetros e exigindo Como a precisão da restrição e a convergência são pequenas, é possível obter uma solução global.

Se você estiver usando o Matlab, use a caixa de ferramentas de otimização global. Possui várias opções de inicialização e pesquisa global. Certos códigos estão disponíveis aqui para uma solução global, aqui e aqui .

Se você estiver usando o Mathematica, veja aqui .

Se você estiver usando R, tente aqui .

— Bipi
fonte

1

Obrigado, @Bipi, pelos exemplos! No segundo, se você definir Y = (a / y - 1), como você pode isolar o parâmetro da variável y?

— Vivek Subramanian

0

A função principal é linear.

Não importa se funções conhecidas não lineares ==> $B(L;\theta)$ <== aparece nas equações.

Eu prosseguiria com mínimos quadrados lineares se fosse você.

É assim que você confirma ou nega a linearidade:

https://en.wikipedia.org/wiki/Non-linear#Definition