Faixa possível de

10

Suponha que haja três séries temporais, , e $X_1$ $X_2$ $Y$

Correndo regressão linear ordinária em ~ ( ), obtemos . A regressão linear ordinária ~ obter . Assuma $Y$ $X_1$ $Y = b X_1 + b_0 + \epsilon$ $R^2 = U$ $Y$ $X_2$ $R^2 = V$ $U < V$

Quais são os valores mínimos e máximos possíveis de na regressão ~ ( )? $R^2$ $Y$ $X_1 + X_2$ $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Eu acredito que o mínimo deve ser + um valor pequeno, pois adicionar novas variáveis sempre aumenta , mas não sei como quantificar esse valor pequeno e não sei como obter o intervalo máximo . $R^2$ $V$ $R^2$

regression multiple-regression r-squared

— vendeta
fonte

9

1) EDIÇÃO: Comentário do cardinal abaixo mostra que a resposta correcta para o min questão é . Portanto, estou excluindo minha resposta "interessante", mas incorreta, em última instância, à parte do post do OP. $R^2$ $V$

2) O valor máximo de é 1. Considere o exemplo a seguir, adequado ao seu caso. $R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Aqui estamos fixando a variação de em 0. Se você quiser , as coisas mudam um pouco. Você pode obter o arbitrariamente próximo de 1, tornando cada vez menor, mas, como no problema mínimo, você não pode chegar lá, portanto não há um máximo. 1 se torna o supremo , já que é sempre maior que mas também é o limite como . $\epsilon$ $\sigma^2_\epsilon > 0$ $R^2$ $\sigma^2_\epsilon$ $R^2$ $\sigma^2_\epsilon \to 0$

— jbowman
fonte

2

(+1) Alguns comentários: Esta é uma boa resposta; é interessante que você tenha tomado uma abordagem assintótica enquanto não está claro se o OP estava interessado em que ou, possível, um fixo um (ou ambos). Essa resposta é um pouco inconsistente com a restrição do OP de que , no entanto, e se ou para alguns , por exemplo, então o mínimo para todos os tamanhos de amostra fixos são exatamente . (Desculpe a patologia desses exemplos.) Além disso, o OLS não é necessariamente consistente, sem restrições adicionais nos preditores. :)

n

$n$

U < V

$U < V$

X_{1} = 0

$X_1 = 0$

X_{1} = a 1

$X_1 = a \mathbf{1}$

a \in R

$a \in \mathbb R$

R^{2}

$R^2$

V := V (n)

$V := V(n)$

— cardeal

@ cardinal - ao reler, não consigo entender por que adotei essa abordagem para o problema mínimo, quando agora parece ser a resposta obviamente correta e, como você observou implicitamente, eu poderia ter construído um exemplo que o alcança em a veia da parte máxima ... bem, talvez meu café da manhã tenha sido acidentalmente descafeinado. (Talvez eu devesse rever minhas respostas mais cuidadosamente antes de postagem, também!)

V

$V$

— jbowman

Eu não acho que você deve remover o que você escreveu, o que eu fiz encontrar uma abordagem interessante para responder a pergunta! Enquanto as patologias que mencionei certamente permitem um mínimo de , pode-se perguntar o que realmente significa . O outro exemplo talvez não seja tão patológico, pois em uma versão geral desse problema, ele se estende ao caso em que qualquer adicional está no espaço da coluna dos outros preditores. :)

R^{2}

$R^2$

X_{1} = 0

$X_1 = 0$

X_{i}

$X_i$

— cardeal

11

@ cardinal - obrigado! Vou reconstruí-lo, talvez um pouco mais formalmente, e colocá-lo de volta no fundo daqui a pouco.

— 21134 jbowman

5

Deixe igual a correlação entre e , igual a correlação entre e , e a correlação entre e . Então para o modelo completo dividido por é igual a $r_{1,2}$ $X_1$ $X_2$ $r_{1,Y}$ $X_1$ $Y$ $r_{2,Y}$ $X_2$ $Y$ $R^2$ $V$

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Assim, para o modelo completo é igual a apenas se e ou $R^2$ $V$ $r_{1,2} = 0$ $r_{1,Y}^2 = U = 0$

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Se , para o modelo completo é igual a . $r_{1,2} = 0$ $R^2$ $U + V$

— Margot
fonte

(+1) Bonitinha. Bem vindo ao site. Por favor, considere registrar sua conta para poder participar mais plenamente. Vou ter que olhar para essa expressão um pouco mais de perto mais tarde. :)

— cardeal

4

Sem restrições em e , o mínimo é e o máximo é o menor . Isto é por causa de dois variável poderia ser perfeitamente correlacionados (caso em que a adição do segundo variável não muda a em todos) ou poderiam ser ortogonal em cujo caso incluindo ambos os resultados em . Foi corretamente apontado nos comentários que isso também exige que cada um seja ortogonal a , o vetor da coluna 1s. $U$ $V$ $V$ $\min(V + U, 1)$ $R^2$ $U + V$ $\mathbf{1}$

Você adicionou a restrição . No entanto, ainda é possível que . Ou seja, , nesse caso, . Finalmente, é possível que para que o limite superior ainda seja . $U < V \implies X_{1} \neq X_{2}$ $U = 0$ $X_{1} \perp Y$ $\min = \max = V + 0$ $X_{1} \perp X_{2}$ $\min(V + U, 1)$

Se você soubesse mais sobre o relacionamento entre e , acho que você poderia dizer mais. $X_{1}$ $X_{2}$

— Joshua
fonte

11

(+1) Mas, observe que não é (completamente) verdade que se e são ortogonais, então seus valores individuais de serão somados ao incluir ambos no modelo. Nós também precisamos deles para ser ortogonais aos all-ones vector . Observe que você pode usar neste site para marcar a matemática. :)

X_{1}

$X_1$

X_{2}

$X_2$

R^{2}

$R^2$

1

$\mathbf 1$

L A T E X

$\LaTeX$

— cardeal

Isso é verdade. Muito obrigado pelos comentários e por apontar que pode ser usado. Eu pensei que poderia, mas tinha tentado escapes estilo MathJax (e [para em linha / equações escrita exatamente como eu iria em TeX funcionou como um encanto :).

L A T E X

$\LaTeX$

— Joshua