R ao quadrado e regressão polinomial de ordem superior

O gráfico abaixo mostra a saturação de uma estrada em relação ao impacto no tempo de viagem (normalizado para o tempo de viagem de fluxo livre).

A curva azul (função BPR) apresenta um modelo padronizado usado em campo para relacionar o tempo de viagem e a saturação.

Para os dados empíricos que reuni, plotei um ajuste polinomial de terceira ordem, mostrado em vermelho. Para avaliar este ajuste, eu encontrei a $R^2$ para esta terceira ajuste ordem. Isso foi dado como 0,72.

Falei com um colega sobre $R^2$ e ele me apontou para este artigo. Por que não existe um quadrado R para regressão não linear?

Eu encontrei muitos artigos foram $R^2$ é usado para avaliar a adequação de um polinômio de ordem superior e agora estou um pouco confuso.

É $R^2$ impróprio neste caso? O que devo usar?

regression chi-squared r-squared

— LearningSlowly
fonte

A regressão polinomial é linear - são os coeficientes que determinam a linearidade do modelo, não a matriz do modelo. Na verdade, verifique este post fantástico . Então eu acho que você está no caminho certo.

— Antoni Parellada

Obrigado @AntoniParellada. Isso fez uma excelente leitura. Também estou egoisticamente feliz como eu não precisa refazer algumas análises;)

— LearningSlowly

Considere um polinômio:

β_{0 0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$\beta_0 + \beta_1 x + \beta_2 x^2 + \ldots + \beta_k x^k$

Observe que o polinômio é não linear em mas que é linear em . Se estamos tentando estimar , isso é regressão linear! linearidade em é o que assuntos. Ao estimar a equação acima por mínimos quadrados, todos os resultados da regressão linear serão mantidos. $x$ $\boldsymbol{\beta}$ $\boldsymbol{\beta}$

y_{Eu} = β_{0 0} + β_{1} x_{Eu} + β_{2} x_{Eu}^{2} + \dots + β_{k} x_{Eu}^{k} + ϵ_{Eu}

$y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \ldots + \beta_k x_i^k + \epsilon_i$

β = (β_{0}, β_{1}, \dots, β_{k})

$\boldsymbol{\beta} = (\beta_0, \beta_1, \ldots, \beta_k)$

Seja a soma total de quadrados, seja a soma explicada de quadrados e seja a soma residual de quadrados. O coeficiente de determinação é definido como: $\mathit{SST}$ $\mathit{SSE}$ $\mathit{SSR}$ $R^2$

R^{2} = 1 - \frac{S S R}{S S T}

$R^2 = 1 - \frac{\mathit{SSR}}{\mathit{SST}}$

E o resultado da regressão linear que fornece a sua interpretação familiar como a fração de variação explicada pelo modelo. $\mathit{SST} = \mathit{SSE} + \mathit{SSR}$ $R^2$

SST = SSE + SSR: Quando é verdade e quando não é verdade?

Seja o valor previsto de e seja o resíduo. Além disso, vamos definir o valor da previsão como . $\hat{y}_i$ $y_i$ $e_i = y_i - \hat{y}_i$ $f_i = \hat{y}_i - \bar{y}$

Vamos denota um produto interno . Em geral, temos: Observe que é um produto interno válido. Então nós temos: $\langle ., . \rangle$

\begin{aligned} ⟨ f + e, f + e ⟩ & = ⟨ f, f ⟩ + 2 ⟨ f, e ⟩ + ⟨ e, e ⟩ \\ = ⟨ f, f ⟩ + ⟨ e, e ⟩ E se f e e ortogonal, ou seja, seu produto interno é 0 \end{aligned}

$\begin{align*} \langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle &= \langle \mathbf{f}, \mathbf{f} \rangle + 2\langle \mathbf{f}, \mathbf{e} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \\ &= \langle \mathbf{f}, \mathbf{f} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \quad \quad\text{if $\mathbf{f}$ and $\mathbf{e}$ orthogonal, i.e. their inner product is 0} \end{align*}$

⟨ a, b ⟩ = \sum_{i} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \sum_i a_i b_i$

$\langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle = \sum_i \left(y_i - \bar{y} \right)^2$ é a soma total de quadrados (SST).
$\langle \mathbf{f}, \mathbf{f} \rangle = \sum_i \left(\hat{y}_i - \bar{y} \right)^2$ é a soma dos quadrados explicada (SSE).
$\langle \mathbf{e}, \mathbf{e} \rangle = \sum_i \left(y_i - \hat{y}_i \right)^2$ é a soma residual dos quadrados (SSR).

Portanto, será verdadeiro se a previsão menosprezada for ortogonal ao residual . Isso é verdadeiro na regressão linear de mínimos quadrados ordinários sempre que uma constante é incluída na regressão. Outra interpretação dos mínimos quadrados comuns é que você está projetando no intervalo linear de regressores, portanto o resíduo é ortogonal a esse espaço por construção. A ortogonalidade das variáveis e resíduos do lado direito geralmente não é verdadeira para as previsões obtidas de outras maneiras. $SST = SSE + SSR$ $\mathbf{f}$ $\mathbf{e}$ $\mathbf{y}$ $\hat{y}_i$

— Matthew Gunn
fonte