Estratégia para ajustar funções altamente não lineares

Para analisar dados de um experimento de biofísica, atualmente estou tentando fazer o ajuste de curvas com um modelo altamente não linear. A função model se parece basicamente com:

$y = ax + bx^{-1/2}$

Aqui, especialmente o valor de $b$ é de grande interesse.

Uma plotagem para esta função:

Gráfico de funções

(Observe que a função de modelo é baseada em uma descrição matemática completa do sistema e parece funcionar muito bem - é apenas que ajustes automáticos são complicados).

Obviamente, a função do modelo é problemática: as estratégias de ajuste que eu tentei até agora falham devido à acentuada assíntota em $x=0$ , especialmente com dados barulhentos.

Meu entendimento da questão aqui é que o ajuste simples de mínimos quadrados (eu joguei com regressão linear e não linear no MATLAB; principalmente Levenberg-Marquardt) é muito sensível à assíntota vertical, porque pequenos erros em x são enormemente amplificados .

Alguém poderia me indicar uma estratégia adequada que pudesse contornar isso?

Eu tenho algum conhecimento básico de estatística, mas isso ainda é bastante limitado. Eu ficaria ansioso para aprender, se ao menos soubesse por onde começar a procurar :)

Agradeço muito pelo seu conselho!

Editar Pedindo perdão por esquecer de mencionar os erros. O único ruído significativo está em e é aditivo. $x$

Editar 2 Algumas informações adicionais sobre o plano de fundo desta pergunta. O gráfico acima modela o comportamento de estiramento de um polímero. Como o @whuber apontou nos comentários, você precisa de para obter um gráfico como acima. $b \approx -200 a$

Quanto à forma como as pessoas ajustaram essa curva até esse ponto: parece que as pessoas geralmente cortam a assíntota vertical até encontrar um bom ajuste. A escolha do corte ainda é arbitrária, tornando o procedimento de ajuste não confiável e improdutível.

Editar 3 e 4 Gráfico fixo.

curve-fitting nonlinear

— onnodb
fonte

Os erros vêm em

ou em

ou em ambos? De que forma você espera que o ruído entre (multiplicativo, aditivo etc.)?

x

$x$

y

$y$

— probabilityislogic

@onnodb: Minha preocupação é: isso não pode questionar fundamentalmente quão robusto é o seu modelo? Não importa o encaixe estratégia que você usa não vai

permanecem altamente sensível? Você pode ter uma alta confiança nessa estimativa de

b

$b$

b

$b$

— 23133 curious_cat

Infelizmente, isso ainda não funcionará. Não há simplesmente nenhuma combinação possível de

que vai mesmo qualitativamente reproduzir o gráfico que você desenhou. (Obviamente

é negativo.

deve ser menor que o mínimo inclinação no gráfico, mas positiva, o que coloca-lo em um intervalo estreito. Mas quando

é nesse intervalo, ele simplesmente não é grande o suficiente para superar o enorme pico negativo em a origem introduzido pelo

prazo.) o que você tem atraído? Dados? Alguma outra função?

a

$a$

b

$b$

b

$b$

a

$a$

a

$a$

b x^{1 / 2}

$b x^{1/2}$

— whuber

Obrigado, mas ainda está errado. Estendendo-se a tangente a este para trás gráfico de qualquer ponto

em que

, irá interceptar o eixo y em

. Como o pico descendente em

é negativo, esse intercepto em y também deve ser negativo. Mas, na sua figura, é bastante claro que a maioria dessas interceptações é positiva, chegando a

(x, a x + b x^{1 / 2})

$(x,ax+bx^{1/2})$

x > 0

$x\gt 0$

(0, 3 b / (2 x^{1 / 2}))

$(0,3b/(2x^{1/2}))$

0

$0$ mostra

b

$b$

15.5

$15.5$ . Assim é matematicamente impossível que uma equação como pode descrever a sua curva $y=ax + bx^{1/2}$ , nem mesmo aproximadamente. No mínimo você precisa para caber algo como

y = a x + b x^{1 / 2} + c

$y=ax+bx^{1/2}+c$

— whuber

Antes de fazer qualquer trabalho sobre isso, queria ter certeza da afirmação da pergunta: é por isso que é importante corrigir a função. Não tenho tempo para dar uma resposta completa agora, mas gostaria de comentar que "outras pessoas" podem estar erradas - mas isso depende de mais detalhes, infelizmente. Se o seu erro

é realmente aditivo , parece-me que ainda deve ser fortemente heterocedástico, pois, caso contrário, sua variação em pequenos valores de

seria realmente minúscula. O que você pode nos dizer, quantitativamente, sobre esse erro?

x

$x$

x

$x$

— whuber

Respostas:

Os métodos que usaríamos para ajustar isso manualmente (ou seja, da Análise de dados exploratórios) podem funcionar notavelmente bem com esses dados.

Desejo reparameterizar ligeiramente o modelo para tornar seus parâmetros positivos:

y = a x - b / \sqrt{x} .

$y = a x - b / \sqrt{x}.$

Para um dado , vamos supor que haja um único real que satisfaça essa equação; chame isso de ou, por uma questão de brevidade, quando forem compreendidos. $y$ $x$ $f(y; a,b)$ $f(y)$ $(a,b)$

Observamos uma coleção de pares ordenados onde se desvia de por variáveis aleatórias independentes com média zero. Nesta discussão, assumirei que todos eles têm uma variação comum, mas uma extensão desses resultados (usando mínimos quadrados ponderados) é possível, óbvia e fácil de implementar. Aqui está um exemplo simulado de uma coleção de valores, com , e uma variação comum de $(x_i, y_i)$ $x_i$ $f(y_i; a,b)$ $100$ $a=0.0001$ $b=0.1$ . $\sigma^2=4$

Data plot

Este é um (deliberadamente) resistente exemplo, como pode ser apreciado pelo não-físico (negativo) valores e a sua propagação extraordinário (que é tipicamente horizontais unidades, mas pode variar até ou no eixo). Se pudermos obter um ajuste razoável a estes dados que vem em qualquer lugar perto de estimar a , , e usado, teremos feito bem. $x$ $\pm 2$ $5$ $6$ $x$ $a$ $b$ $\sigma^2$

Um ajuste exploratório é iterativo. Cada etapa consiste de dois passos: estimar (com base nas estimativas de dados e anteriores e de e , a partir do qual os valores previstos anteriores pode ser obtida para o ) e, em seguida, estimar . Como os erros estão em x , os ajustes estimam partir de , e não o contrário. Para a primeira ordem dos erros em , quando $a$ $\hat{a}$ $\hat{b}$ $a$ $b$ $\hat{x}_i$ $x_i$ $b$ $x_i$ $(y_i)$ $x$ $x$ é suficientemente grande,

x_{i} \approx \frac{1}{a} (y_{i} + \frac{\hat{b}}{\sqrt{{\hat{x}}_{i}}}) .

$x_i \approx \frac{1}{a}\left(y_i + \frac{\hat{b}}{\sqrt{\hat{x}_i}}\right).$

Portanto, podemos atualizar ajustando este modelo por mínimos quadrados (aviso de que tem apenas um parâmetro - uma ladeira, --e não de interceptação) e tomando o inverso do coeficiente de como a estimativa atualizada de . $\hat{a}$ $a$ $a$

Em seguida, quando é suficientemente pequeno, o termo quadrático inverso domina e encontramos (novamente na primeira ordem nos erros) que $x$

x_{i} \approx b^{2} \frac{1 - 2 \hat{a} \hat{b} {\hat{x}}^{3 / 2}}{y_{i}^{2}} .

$x_i \approx b^2\frac{1 - 2 \hat{a} \hat{b} \hat{x}^{3/2}}{y_i^2}.$

Mais uma vez usando mínimos quadrados (com apenas um termo de inclinação ) obtemos uma atualizadas estimativa $b$ $\hat{b}$ através da raiz quadrada do inclinação equipada.

Para ver por que isso funciona, uma aproximação exploratória grosseira a esse ajuste pode ser obtida plotando contra para o menor . Melhor ainda, porque o são medidos com erro eo mudar monotonamente com o , devemos concentrar-nos os dados com os maiores valores de . Aqui está um exemplo de nosso conjunto de dados simulados, mostrando a maior metade do $x_i$ $1/y_i^2$ $x_i$ $x_i$ $y_i$ $x_i$ $1/y_i^2$ $y_i$ em vermelho, a menor metade em azul e uma linha através da origem ajustada aos pontos vermelhos.

Os pontos se alinham aproximadamente, embora exista um pouco de curvatura nos pequenos valores de e . (Observe a escolha dos eixos: como é a medida, é convencional plotá-la no eixo vertical .) Ao focar o ajuste nos pontos vermelhos, onde a curvatura deve ser mínima, devemos obter uma estimativa razoável de . O valor de mostrado no título é a raiz quadrada da inclinação desta linha: é apenas % menor que o valor real! $x$ $y$ $x$ $b$ $0.096$ $4$

Nesse ponto, os valores previstos podem ser atualizados via

{\hat{x}}_{i} = f (y_{i}; \hat{a}, \hat{b}) .

$\hat{x}_i = f(y_i; \hat{a}, \hat{b}).$

Itere até que as estimativas estabilizem (o que não é garantido) ou alternem entre pequenos intervalos de valores (que ainda não podem ser garantidos).

Acontece que é difícil de estimar, a menos que tenhamos um bom conjunto de valores muito grandes de , mas que --que determina a assíntota vertical no gráfico original (na pergunta) e é o foco da pergunta-- pode ser fixado com muita precisão, desde que existam alguns dados na assíntota vertical. No nosso exemplo de execução, as iterações fazer convergir para (que é quase o dobro do valor correcto de ) e (que é próximo do valor correto de $a$ $x$ $b$ $\hat{a} = 0.000196$ $0.0001$ $\hat{b} = 0.1073$ $0.1$ ) Este gráfico mostra os dados mais uma vez, sobre os quais se sobrepõem (a) a curva real em cinza (tracejada) e (b) a curva estimada em vermelho (sólido):

Fits

Esse ajuste é tão bom que é difícil distinguir a curva verdadeira da curva ajustada: elas se sobrepõem quase em todos os lugares. Aliás, a variação estimada de erro de está muito próxima do valor real de $3.73$ $4$ .

Existem alguns problemas com essa abordagem:

As estimativas são tendenciosas. O viés se torna aparente quando o conjunto de dados é pequeno e relativamente poucos valores estão próximos do eixo x. O ajuste é sistematicamente um pouco baixo.
O procedimento de estimativa requer um método para diferenciar valores "grandes" de "pequenos" de . Eu poderia propor maneiras exploratórias para identificar definições ótimas, mas como uma questão prática, você pode deixá-las como constantes de "ajuste" e alterá-las para verificar a sensibilidade dos resultados. I se defini-los arbitrariamente dividindo os dados em três grupos iguais de acordo com o valor de e utilizando os dois grupos exteriores. $y_i$ $y_i$
O procedimento não irá funcionar para todas as combinações possíveis de e ou todas as gamas possíveis de dados. No entanto, deve funcionar bem sempre que uma curva suficiente estiver representada no conjunto de dados para refletir as duas assíntotas: a vertical em uma extremidade e a inclinada na outra extremidade. $a$ $b$

Código

O seguinte está escrito em Mathematica .

estimate[{a_, b_, xHat_}, {x_, y_}] := 
  Module[{n = Length[x], k0, k1, yLarge, xLarge, xHatLarge, ySmall, 
    xSmall, xHatSmall, a1, b1, xHat1, u, fr},
   fr[y_, {a_, b_}] := Root[-b^2 + y^2 #1 - 2 a y #1^2 + a^2 #1^3 &, 1];
   k0 = Floor[1 n/3]; k1 = Ceiling[2 n/3];(* The tuning constants *)
   yLarge = y[[k1 + 1 ;;]]; xLarge = x[[k1 + 1 ;;]]; xHatLarge = xHat[[k1 + 1 ;;]];
   ySmall = y[[;; k0]]; xSmall = x[[;; k0]]; xHatSmall = xHat[[;; k0]];
   a1 = 1/
     Last[LinearModelFit[{yLarge + b/Sqrt[xHatLarge], 
          xLarge}\[Transpose], u, u]["BestFitParameters"]];
   b1 = Sqrt[
     Last[LinearModelFit[{(1 - 2 a1 b  xHatSmall^(3/2)) / ySmall^2, 
          xSmall}\[Transpose], u, u]["BestFitParameters"]]];
   xHat1 = fr[#, {a1, b1}] & /@ y;
   {a1, b1, xHat1}
   ];

Aplique isso aos dados (dados por vetores paralelos xe yformados em uma matriz de duas colunas data = {x,y}) até a convergência, começando com estimativas de : $a=b=0$

{a, b, xHat} = NestWhile[estimate[##, data] &, {0, 0, data[[1]]}, 
                Norm[Most[#1] - Most[#2]] >= 0.001 &,  2, 100]

— whuber
fonte

Esta é uma resposta incrível; Sou muito grato! Eu tenho brincado com isso, e os resultados parecem muito promissores. No entanto, vou precisar de um pouco mais de tempo para entender completamente o raciocínio :) Além disso: posso entrar em contato com você pelo seu site para uma pergunta adicional (privada), sobre agradecimentos?

— onnodb

Veja as perguntas importantes postadas por @probabilityislogic

Se você tiver apenas erros em y, e eles forem aditivos e você tiver variação constante (ou seja, suas suposições se ajustam ao que parece), então se você deixar , que poderia talvez tentar um ajuste linear ponderada dosem , em que os pesos irá então ser proporcional a $y^* = y\sqrt{x}$ $y^*$ $x^* = x^{3/2}$ $1/x$ ... (e sim, isso pode ser simplesmente mudando o problema ao redor, assim ainda pode ser problemático - mas você deve pelo menos achar mais fácil se regularizar com essa transformação do problema).

Observe que, com esta manipulação, seu $b$ se torna o intercepto da nova equação

Se suas variações já não são constantes ou seus erros não são aditivos ou você possui erros no $x$ , isso mudará as coisas.

Edite para considerar as informações adicionais:

Chegamos a um modelo da forma: $y^* = b + a x^*$

Agora temos que os erros estão em xe aditivos. Ainda não sabemos se a variação é constante nessa escala.

Reescreva como $x^* = y^*/a - b/a = m y^* + c$

Deixe , onde este termo de erro pode ser heterocedásticos (se o original tem propagação constante, será heterocedásticos, mas de forma conhecida) $x_o^* = x^* + \eta$ $x$

(onde o em significa 'observado') $o$ $x_o^*$

Então onde parece bom, mas agora já correlacionou erros no e variáveis; portanto, é um modelo linear de erros nas variáveis, com heterocedasticidade e forma conhecida de dependência nos erros. $x^*_o = c + m y^* + \epsilon$ $\epsilon = -\zeta$ $x$ $y$

Não tenho certeza de que isso melhore as coisas! Acredito que existem métodos para esse tipo de coisa, mas não é realmente minha área.

Mencionei nos comentários que você gostaria de analisar a regressão inversa, mas a forma específica de sua função pode impedir que isso aconteça.

Você pode até ficar preso em tentar métodos bastante robustos para erros em x nessa forma linear.

Agora, uma grande pergunta: se os erros estão em x , como diabos você estava se ajustando ao modelo não-linear? Você estava apenas minimizando cegamente a soma dos erros ao quadrado em ? Esse pode ser o seu problema. $y$

Suponho que alguém possa tentar reescrever a coisa original como um modelo com erros no tentar otimizar o ajuste, mas não tenho certeza se vejo como configurá-la corretamente. $x$

— Glen_b -Reinstate Monica
fonte

x

$x$

" mesmo que os erros estejam em x " - caramba, isso é meio importante. Você pode querer verificar a regressão inversa.

— Glen_b -Reinstala Monica 13/03

x = \frac{1}{3} (\frac{2 y}{a} + \frac{2^{1 / 3} y^{2}}{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}} + \frac{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}}{2^{1 / 3} a^{2}})

$x = \frac{1}{3} \left(\frac{2 y}{a}+\frac{2^{1/3} y^2}{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}+\frac{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}{2^{1/3} a^2}\right)$ :-).

— whuber

@whuber Hmm. Solving for the cubic, clever. If we write the original in terms of

x_{o}

$x_o$ where

x_{o}

$x_o$ is

x + ζ

$x + \zeta$ , this would leave us with

x = (t h a t m o n s t e r) + ϵ

$x = (\rm{that\,\, monster}) + \epsilon\,$ , (again with

ϵ = - ζ

$\epsilon = -\zeta$ ) which at least notionally can be done with nonlinear least squares. So that looks like it takes care of the error propagation properly. It might actually work if the OP was to use the linear form I was playing with (using some robust-to-errors-in-the-IV-and-hetero estimation) to get good starting values for the parameters and then try to use this nonlinear LS form to polish it.

— Glen_b -Reinstate Monica

I believe linearizing the function

x (y)

$x(y)$ and (ironically) applying nonlinear (weighted) least squares would work, especially if the data were restricted to relatively small values of

y

$y$ where the curve is primarily determined by

b

$b$ .

— whuber

After some more weeks of experimenting, a different technique seems to work the best in this particular case: Total Least Squares fitting. It's a variant of the usual (nonlinear) Least Squares fitting, but instead of measuring fit errors along just one of the axes (which causes problems in highly nonlinear cases such as this one), it takes both axes into account.

There's a plethora of articles, tutorials and books avaiable on the subject, although the nonlinear case is more elusive. There's even some MATLAB code available.

— onnodb
fonte

Thanks for sharing this. I accept that it it might produce good-looking results in your case, but I have two concerns. The first you mention: how exactly does one apply total least squares/errors-in-variables regression/orthogonal regression/Deming regression to nonlinear fits? The second is that this approach does not seem appropriate for your data, in which

y

$y$ is measured essentially without error. When that's the case, you should not be allowing for residuals in the

y

$y$ variable and doing so ought to produce unreliable, biased results.

— whuber

@whuber Thanks for expressing your concerns! Right now, I'm still working on running simulations to probe the reliability of TLS fitting for this problem. What I've seen thus far, though, is that TLS' consideration of both variables helps greatly in overcoming the high non-linearity of the model. Fits of simulated data are reliable and converge very well. More work needs to be done though, and I'll definitely have to stack your method up to this one, once we have more actual data available --- and look in detail into your concerns.

— onnodb

OK--don't forget I have comparable concerns about the method I proposed!

— whuber