O R-quadrado é realmente uma métrica inválida para modelos não lineares?

Eu li que o quadrado-R é inválido para modelos não lineares, porque o relacionamento que SSR + SSE = SSTotal não mantém mais. Alguém pode explicar por que isso é verdade?

SSR e SSE são apenas as normas ao quadrado dos vetores de regressão e residuais, cujos componentes são e (Y_i- \ hat {Y_i}) , respectivamente. Enquanto esses vetores forem ortogonais entre si, a relação acima não deve sempre ser mantida, independentemente do tipo de função usada para mapear os valores preditores aos ajustados?$i^{th}$$(\hat{Y_i}-\bar{Y})$$(Y_i-\hat{Y_i})$

Além disso, os vetores de regressão e residuais associados a qualquer modelo de mínimos quadrados não devem ser ortogonais, por definição de mínimos quadrados? O vetor residual é a diferença entre o vetor $(Y_i-\bar{Y_i})$ e o vetor de regressão. Se o vetor de regressão for tal que o vetor residual / diferença não seja ortogonal a ele, o vetor de regressão poderá ser multiplicado por uma constante, para que agora seja ortogonal ao vetor residual / diferença. Isso também deve reduzir a norma do vetor residual / diferença.

Se eu expliquei isso mal, diga-me e tentarei esclarecer.

As somas de quadrados na regressão linear são casos especiais dos valores de desvio mais gerais no modelo linear generalizado. No modelo mais geral, há uma distribuição de respostas com média vinculada a uma função linear das variáveis ​​explicativas (com um termo de interceptação). As três estatísticas de desvio em um GLM são definidas como:

$$\begin{matrix} \text{Null Deviance} \quad \quad \text{ } \text{ } & & \text{ } D_{TOT} = 2(\hat{\ell}_{S} - \hat{\ell}_0), \\[6pt] \text{Explained Deviance} & & D_{REG} = 2(\hat{\ell}_{p} - \hat{\ell}_0), \\[6pt] \text{Residual Deviance}^\dagger \text{ } & & \text{ } D_{RES} = 2(\hat{\ell}_{S} - \hat{\ell}_{p}). \\[6pt] \end{matrix}$$

Nessas expressões, o valor é a probabilidade maximizada de log em um modelo saturado (um parâmetro por ponto de dados), é a probabilidade maximizada de log em um modelo nulo (apenas para interceptação ) e é a probabilidade logarítmica maximizada no modelo (termo de interceptação e coeficientes ).$\hat{\ell}_S$$\hat{\ell}_0$$\hat{\ell}_{p}$$p$

Essas estatísticas de desvio desempenham um papel análogo às versões em escala das somas de quadrados na regressão linear. É fácil ver que eles satisfazem a decomposição , que é análoga à decomposição das somas de quadrados em regressão linear. De fato, no caso em que você tem uma distribuição de resposta normal com uma função de link linear, obtém um modelo de regressão linear e as estatísticas de desvio são reduzidas para o seguinte:$D_{TOT} = D_{REG} + D_{RES}$

$$\begin{equation} \begin{aligned} D_{TOT} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{TOT}, \\[6pt] D_{REG} = \frac{1}{\sigma^2} \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{REG}, \\[6pt] D_{RES} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{\sigma^2} \cdot SS_{RES}. \\[6pt] \end{aligned} \end{equation}$$

Agora, o coeficiente de variação em um modelo de regressão linear é uma estatística de qualidade de ajuste que mede a proporção da variação total na resposta atribuível às variáveis ​​explicativas. Uma extensão natural no caso de um GLM é formar a estatística:

$$R_{GLM}^2 = 1-\frac{D_{RES}}{D_{TOT}} = \frac{D_{REG}}{D_{TOT}}.$$

É fácil ver que essa estatística se reduz ao coeficiente de variação no caso especial de regressão linear, uma vez que os valores de escala se cancelam. No contexto mais amplo de um GLM, a estatística tem uma interpretação natural que é análoga à sua interpretação em regressão linear: fornece a proporção do desvio nulo que é explicada pelas variáveis ​​explicativas no modelo.

Agora que vimos como as somas de quadrados na regressão linear se estendem aos desvios em um GLM, podemos ver que o coeficiente de variação regular é inadequado no modelo não linear, pois é específico ao caso de um modelo linear com um termo de erro normalmente distribuído. No entanto, podemos ver que, embora o coeficiente de variação padrão seja inadequado, é possível formar uma analogia apropriada usando os valores de desvio, com uma interpretação análoga.

---

$^\dagger$ O desvio residual às vezes é chamado apenas de desvio.

Por que SSE + SSR deve ser igual a SST? Aconteceu ser o caso do modelo linear. Há muitas maneiras de mostrar que ele deve para sob condições de Gauss-Markov. No entanto, ele não precisa se sustentar no caso geral. O ônus é provar que é válido, não que não$y=X\beta+\varepsilon$

Embora o quadrado R ainda possa ser uma medida defeituosa em modelos não lineares por outras razões, acredito que mostrei suficientemente que a relação SSR + SSE = SSTotal ainda se mantém em um modelo de mínimos quadrados para certas funções não lineares, especialmente aquelas que permitem um termo constante, como modelos polinomiais. Acredito que esta conclusão seja compatível com o que foi publicado nesta discussão, incluindo o que li no link ncbi fornecido, embora não tenha sido possível acessar o relatório completo.

Se alguém tem uma série de valores ajustados $\hat y_i$com relação a uma série de observações , onde , sendo um termo constante a função de variáveis ​​preditoras, nas quais o vetor de não é ortogonal a , pode-se criar um novo conjunto de valores ajustados modo que , em que c = . Com novos valores ajustados , o vetor$y_i$$\hat y_i$ $= A + f(X) =$ $\bar Y$ $+ (A-\bar Y)$ $+ f(X)$$A$$f(X)$$(\hat{Y_i} - \bar{Y})$$(Y_i - \hat{Y_i})$$Z_i$$Z_i = c*(\hat{Y_i} - \bar{Y}) + \bar{Y}$$\sum{(\hat{Y_i}-\bar{Y})*(Y_i-\hat{Y_i})} / \sum{(\hat{Y_i} - \bar{Y})^2}$$Z_i$$(Z_i - \bar{Y})$será ortogonal ao vetor de erro e esse novo vetor de erro terá uma soma menor de quadrados que o original . Os foram simplesmente obtidos multiplicando o modelo estimado original por uma constante e adicionando um múltiplo da média das observações, o que é compatível com o modelo de termo constante. Portanto, um modelo de mínimos quadrados sempre deve ter regressão ortogonal e vetores de erro nessas circunstâncias, o que significa que .$(Y_i - Z_i)$$(Y_i-\hat{Y_i})$$Z_i$$"c"$$SSE + SSR = SSTotal$

Criei modelos polinomiais em um punhado de conjuntos de dados no trabalho e esse relacionamento se manteve com todos eles. Estou apenas dizendo.

$R^2$ é de uso limitado na regressão não linear. Nós o disponibilizamos no GraphPad Prism, mas sugerimos que seja usado de apenas uma maneira:

Observe ao executar uma série de experimentos e deseja garantir que o experimento de hoje seja consistente com outras execuções do experimento. Por exemplo, se você sempre obtém entre 0,90 e 0,95, mas hoje obtém = 0,75, deve suspeitar e procurar com atenção se algo deu errado com os métodos ou reagentes usados ​​naquela experiência em particular. E se um novo funcionário fornecer resultados mostrando de 0,99 usando o mesmo sistema, você deve examinar cuidadosamente quantos "outliers" foram removidos e se alguns dados foram criados.$R^2$$R^2$$R^2$$R^2$

Mais .