Diferença entre análise de regressão e ajuste de curva

Alguém pode me explicar as diferenças reais entre análise de regressão e ajuste de curva (linear e não linear), com um exemplo, se possível?

Parece que ambos tentam encontrar uma relação entre duas variáveis ​​(dependente versus independente) e, em seguida, determinam o parâmetro (ou coeficiente) associado aos modelos propostos. Por exemplo, se eu tiver um conjunto de dados como:

Y = [1.000 1.000 1.000 0.961 0.884 0.000] 
X = [1.000 0.063 0.031 0.012 0.005 0.000]

Alguém pode sugerir uma fórmula de correlação entre essas duas variáveis? Estou com dificuldades para entender a diferença entre essas duas abordagens. Se você preferir apoiar sua resposta com outros conjuntos de dados, não há problema, pois esse parece difícil de se ajustar (talvez apenas para mim).

O conjunto de dados acima representa a e eixos de uma característica operacional do receptor (ROC), onde é a taxa verdadeira positiva (TPR) e é a taxa de falsos positivos (FPR).y $x$$y$$y$$x$

Estou tentando ajustar uma curva ou fazer uma análise de regressão conforme minha pergunta original, ainda não tenho certeza, entre esses pontos para estimar o TPR para qualquer FPR específico (ou vice-versa).

Primeiro, é cientificamente aceitável encontrar essa função de ajuste de curva entre duas variáveis ​​independentes (TPR e FPR)?

Segundo, é cientificamente aceitável encontrar essa função se eu souber que as distribuições dos casos negativos reais e positivos reais não são normais?

Duvido que exista uma distinção clara e consistente entre ciências e campos estatísticos entre regressão e ajuste de curvas .

Regressão sem qualificação implica regressão linear e estimativa de mínimos quadrados. Isso não descarta outros sentidos ou mais amplos: na verdade, uma vez que você permite logit, Poisson, regressão binomial negativa, etc., etc., fica mais difícil ver que modelagem não é regressão em algum sentido.

O ajuste de curva sugere literalmente uma curva que pode ser desenhada em um plano ou pelo menos em um espaço de baixa dimensão. A regressão não é tão limitada e pode prever superfícies em um espaço multidimensional.

O ajuste de curva pode ou não usar regressão linear e / ou mínimos quadrados. Pode se referir ao ajuste de um polinômio (série de potências) ou a um conjunto de termos seno e cosseno ou, de alguma outra forma, qualificar-se como regressão linear no sentido principal de ajustar uma forma funcional linear nos parâmetros. De fato, o ajuste de curvas quando a regressão não linear também é regressão.

O termo ajuste de curva pode ser usado em um sentido depreciativo, depreciativo, depreciativo ou desdenhoso ("isso é apenas ajuste de curva!") Ou (quase o oposto completo) ou pode se referir ao ajuste de uma curva específica cuidadosamente escolhida com aspectos físicos (biológicos, racional econômico, seja qual for) ou adaptado para corresponder a tipos particulares de comportamento inicial ou limitador (por exemplo, ser sempre positivo, delimitado em uma ou ambas as direções, monótono, com uma inflexão, com um único ponto de viragem, oscilatório etc.).

Uma das várias questões difusas aqui é que a mesma forma funcional pode ser, na melhor das hipóteses, empírica em algumas circunstâncias e excelente teoria em outras. Newton ensinou que as trajetórias dos projéteis podem ser parabólicas e, portanto, naturalmente ajustadas por quadráticos, enquanto que um quadrático ajustado à dependência de idade nas ciências sociais é frequentemente apenas uma farsa que corresponde a alguma curvatura nos dados. Decaimento exponencial é uma aproximação muito boa para isótopos radioativos e um palpite às vezes não muito louco do modo como os valores da terra declinam com a distância de um centro.

Seu exemplo não recebe palpites explícitos de mim. Grande parte do argumento aqui é que, com um conjunto muito pequeno de dados e precisamente nenhuma informação sobre o que são as variáveis ​​ou como elas devem se comportar, pode ser irresponsável ou tolo sugerir um formulário de modelo. Talvez os dados devam subir acentuadamente de (0, 0) e depois se aproximar (1, 1), ou talvez outra coisa. Você nos diz!

Nota. Nem a regressão nem o ajuste de curva são limitados a preditores únicos ou parâmetros únicos (coeficientes).

Além da excelente resposta de @ NickCox (+1), eu queria compartilhar minha impressão subjetiva sobre esse tópico de terminologia um tanto confuso . Eu acho que uma diferença bastante sutil entre os dois termos está no seguinte. Por um lado, a regressão geralmente, se não sempre, implica uma solução analítica (a referência a regressores implica determinar seus parâmetros , daí meu argumento sobre a solução analítica). Por outro lado, o ajuste de curvas não implica necessariamente a produção de uma solução analítica e o IMHO geralmente pode ser e é usado como uma abordagem exploratória .