Por que estudar regressão linear?

Dadas duas variáveis ​​aleatórias $\xi$ e $\eta$ , podemos calcular seu "coeficiente de correlação" $c$ e formar a linha de melhor ajuste entre essas duas variáveis ​​aleatórias. Minha pergunta é por que?

1) Existem variáveis ​​aleatórias, $\xi$ e $\eta$ que são dependentes da pior maneira possível, ou seja, $\xi = f(\eta)$ e apesar disso $c=0$ . Se pensarmos apenas na regressão linear, ficaríamos totalmente cegos para isso.

2) Por que linear especificamente? Existem outros tipos de relacionamentos que podem existir entre variáveis ​​aleatórias. Por que escolher aquele dentre todos os outros?

Concordo que nem todas as relações são lineares em si, mas muitas relações podem ser linearmente aproximadas. Já vimos muitos casos em matemática, como a série de Taylor ou a série de Fourier, etc. O ponto-chave aqui é, geomatt22 disse no comentário: em geral, você pode transformar os dados não-lineares e aplicar algum tipo de transformação com funções básicas e linearizar o relação. A razão pela qual as universidades abordam apenas 'vários modelos de regressão linear' (incluindo modelos de regressão simples) é porque eles são o alicerce para modelos de nível mais avançado que também são lineares.

Matematicamente falando, desde que você possa provar que uma certa aproximação linear é densa em um espaço de Hilbert, você poderá usar a aproximação para representar uma função no espaço.

O modelo ao qual você está se referindo, regressão linear simples, também conhecida como "a linha de melhor ajuste" (estou confundindo modelo e método de estimativa aqui), é reconhecidamente muito simples (como o nome diz). Por que estudá-lo? Eu posso ver muitas razões. A seguir, presumo que o conceito de variável aleatória tenha sido introduzido pelo menos informalmente, porque você o mencionou na sua pergunta.

1. pedagógico: é claro, para você, é óbvio que variáveis ​​aleatórias de valor real com momentos finitos de segunda ordem formam um espaço de Hilbert. Talvez já fosse óbvio quando você estudou a teoria da probabilidade. Mas a estatística não é ensinada apenas aos estudantes de matemática: existe um público mais amplo, da física à economia, às ciências da computação, às ciências sociais, etc. Esses estudantes podem encontrar estatísticas no início de seus estudos. Eles podem ou não ter sido expostos à álgebra linear e, mesmo no primeiro caso, podem não ter visto do ponto de vista mais abstrato de um curso de matemática. Para esses alunos, o próprio conceito de aproximação de uma variável aleatória por outra variável aleatória não é tão imediato. Até a propriedade básica do modelo linear simples, ou seja, o fato de o erro e o preditor serem variáveis ​​aleatórias ortogonais, às vezes é surpreendente para eles. O fato de você poder definir um "ângulo" entre variáveis ​​aleatórias (objetos "desagradáveis"! Funções mensuráveis ​​de um espaço de probabilidade para um espaço mensurável) pode ser óbvio para você, mas não necessariamente para um calouro. Assim, se o estudo de espaços vetoriais começa com o bom e velho plano euclidiano, não faz sentido iniciar o estudo de modelos estatísticos com o mais simples?
2. $\xi = \beta_0+\sum_{i=1}^N \beta_i \eta_i +\epsilon$$\xi = \sum_{i=0}^N \beta_i \phi(\eta_i) +\epsilon$
3. prático : existem inúmeras aplicações bem-sucedidas de regressão linear simples. A lei de Okun em economia, lei de Hooke , a lei de Ohm e lei de Charles em física, a relação entre a pressão arterial sistólica e idade na medicina (não tenho idéia se ele tem um nome!) São exemplos de regressão linear simples, com diferentes graus de precisão.

Uma outra razão é a maneira adorável pela qual a regressão fornece um tratamento unificado de técnicas como ANOVA. Para mim, o tratamento "elementar" usual da ANOVA parece bastante obscuro, mas um tratamento baseado em regressão é claro. Suspeito que isso tenha muito a ver com a maneira como os modelos de regressão explicitam algumas suposições de que nos tratamentos "elementares" são tácitos e não examinados. Além disso, a clareza conceitual oferecida por essa perspectiva unificadora é acompanhada de benefícios práticos semelhantes quando chega a hora de implementar métodos em software estatístico.

Esse princípio se aplica não apenas à ANOVA, mas a extensões como splines cúbicos restritos - que abordam notavelmente sua segunda pergunta.

A popularidade da regressão linear é devida em parte à sua interpretabilidade - ou seja, pessoas não técnicas podem entender os coeficientes dos parâmetros com apenas um pouco de explicação. Isso agrega muito valor em situações de negócios, nas quais os usuários finais da saída ou das previsões podem não ter um entendimento profundo de matemática / estatística.

Sim, existem suposições e limitações com essa técnica (como em todas as abordagens) e ela pode não fornecer o melhor ajuste em muitos casos. Mas a regressão linear é muito robusta e geralmente pode ter um desempenho muito bom, mesmo quando as suposições são violadas.

Por essas razões, definitivamente vale a pena estudar.

Algo pode não estar diretamente relacionado.

Se você tem duas séries $x$ e $y$ naquela $cov(x,y) = 0$e se você suspeitar que há relação entre $x$ e $y$. Você poderia fazer um enredo entre$y$ e $x$ para examinar o relacionamento deles.