Será -squared ter um -valor?

18

Parece que me confundi tentando entender se um valor de quartzo também tem um valor- . $r$ $p$

Pelo que entendi, na correlação linear com um conjunto de pontos de dados pode ter um valor que varia de a e esse valor, seja o que for, pode ter um valor- que mostra se é significativamente diferente de (ou seja, , se houver uma correlação linear entre as duas variáveis). $r$ $-1$ $1$ $p$ $r$ $0$

Passando para a regressão linear, uma função pode ser ajustada aos dados, descritos pela equação . e (e do declive) também têm -Valores para mostrar se eles são significativamente diferentes . $Y = a + bX$ $a$ $b$ $p$ $0$

Supondo que até agora eu tenha entendido tudo correto, o valor- para e o valor- para a mesma coisa? É correto dizer que não é quartel que tem um valor mas sim ou que possui? $p$ $r$ $p$ $b$ $r$ $p$ $r$ $b$

statistical-significance p-value r-squared

— user1357
fonte

14

Além dos inúmeros comentários (corretos) de outros usuários, apontando que o valor- para é idêntico ao valor- para o teste global , observe que você também pode obter o valor- associado a "diretamente" usando o fato de que sob a hipótese nula é distribuído como , onde e são o numerador e graus de liberdade do denominador, respectivamente, para a estatística associada . $p$ $r^2$ $p$ $F$ $p$ $r^2$ $r^2$ $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ $v_n$ $v_d$ $F$

O terceiro marcador na subseção Derivado de outras distribuições da entrada Wikipedia na distribuição beta nos diz que:

Se e são independentes, então . $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Bem, podemos escrever $r^2$ nessa forma $\frac{X}{X+Y}$ .

Seja a soma total dos quadrados para uma variável , seja a soma dos erros quadráticos para uma regressão de em algumas outras variáveis e seja a "soma dos quadrados reduzidos", ou seja, . Então E, é claro, sendo somas de quadrados, e são ambos distribuídos como com e graus de liberdade, respectivamente. Portanto, $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ (É claro que eu não mostrei que os dois quadrados são independentes. Talvez um comentarista possa dizer algo sobre isso.)

Demonstração em R (código emprestado de @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Jake Westfall
fonte

6

Espero que esta quarta (!) Resposta esclareça ainda mais as coisas.

Na regressão linear simples, existem três testes equivalentes:

teste t para declínio populacional zero de covariável $X$
Teste t para correlação populacional zero entre e resposta $X$ $Y$
F-teste para a população de zero ao quadrado-R, ou seja, nada da variabilidade de pode ser explicada pelas diferentes . $Y$ $X$

Todos os três testes verificam se há uma associação linear entre e e, felizmente (!), Todos levam ao mesmo resultado. Suas estatísticas de teste são equivalentes. (Os testes 1 e 2 são baseados na distribuição de Student com df, que corresponde à distribuição F da amostra do teste 3, apenas com estatística do teste ao quadrado). $X$ $Y$ $n-2$

Um exemplo rápido em R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Como você pode ver, os três testes produzem o mesmo valor p de 0,00218. Observe que o teste 3 é aquele na última linha da saída.

Portanto, seu teste F para o quadrado R é muito frequente, embora poucos estatísticos o interpretem como um teste para o quadrado R.

— Michael M
fonte

5

Você parece ter um entendimento decente para mim. Poderíamos obter um valor para , mas como é uma função (não estocástica) de , os s seriam idênticos. $p$ $r^2$ $r$ $p$

— - Reinstate Monica
fonte

Acho que não. Ligar inferência sobre e para a inferência sobre o e de OLS, é significativo se é diferente de zero, independentemente de . No entanto, é significativo se ou forem diferentes de zero. Isso ajuda a visualizar o que os respectivos testes estão avaliando.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO 12/08

1

@ AdamO, não consigo seguir o argumento no seu comentário. Semelhante ao post de Michael Mayer abaixo, em R tentativa: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). Ep para r é .265. OP para b e para o teste F global são idênticos, mesmo que p para a seja 6.96e-09.

— gung - Restabelece Monica

Exatamente o meu ponto. é diferente de e seu valor NÃO é idêntico. pode ser uma função de , mas nem sequer é uma função monotônica. pode ser significativo quando não é. O que mede ? É o erro padrão residual após desenhar a linha de tendência OLS e calcular os resíduos. No seu exemplo, a variação residual será menor que a variação incondicional ? Absolutamente. é significativo então. Você pode calcular as características operacionais com o bootstrap e a conexão entre a ANOVA e os mínimos quadrados comuns também esclarece o assunto.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$

— AdamO 12/08

4

Você também pode obter o valor- associado a "diretamente" usando o fato de que sob a hipótese nula é distribuído como , em que e são os graus de liberdade do numerador e do denominador, respectivamente, para a estatística associada . (Veja a terceira identidade aqui: en.wikipedia.org/wiki/… .) Portanto, usando os dados de exemplo de @ gung, se entrarmos , obtemos .

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Jake Westfall

4

@ AdamO, eu ainda não entendo. Ambos são .265, como eles não são idênticos?

— gung - Restabelece Monica

4

Existem várias maneiras de derivar a estatística de teste para testes da correlação de Pearson, . Para obter um valor , vale enfatizar que você precisa de um teste e uma distribuição amostral de uma estatística de teste sob a hipótese nula. Seu título e sua pergunta parecem ter alguma confusão entre a correlação de Pearson e a "variação explicada" . Vou considerar o coeficiente de correlação primeiro. $\rho$ $p$ $r^2$

Não há "melhor" maneira de testar a correlação de Pearson que eu conheço. A transformação Z de Fisher é uma dessas formas, baseada em transformações hiperbólicas, para que a inferência seja um pouco mais eficiente. Essa é certamente uma abordagem "boa", mas o triste é que a inferência para esse parâmetro é consistente com a inferência sobre o parâmetro de inclinação para associação: eles contam a mesma história a longo prazo. $\beta$

A razão pela qual os estatísticos (classicamente) totalmente testes de preferido é porque nós não têm uma "melhor" teste: regressão linear, que é o estimador AZUL. Nos dias de estatística moderna, realmente não nos importamos mais se um teste é "melhor", mas a regressão linear tem muitas outras propriedades fantásticas que justificam seu uso contínuo para determinar a associação entre duas variáveis. Em geral, sua intuição está certa: elas são essencialmente a mesma coisa, e focamos nossa atenção em como uma medida mais prática de associação. $\beta$ $\beta$

O é uma função da inclinação e da interceptação. Se qualquer um desses valores for diferente de zero, o deve ter uma distribuição de amostragem discernível em relação àquela que seria esperada se os parâmetros lineares fossem zero. No entanto, derivar distribuições de sob nulo e comparando sob alguma hipótese alternativa não me dá muita confiança de que esse teste tenha muito poder para detectar o que queremos. Apenas um pressentimento. Novamente, voltando-se para os "melhores" estimadores, o OLS nos fornece as "melhores" estimativas da inclinação e da interceptação, por isso temos a confiança de que nosso teste é pelo menos bom para determinar a mesma associação (se houver) testando diretamente os parâmetros do modelo . Para mim, testando em conjunto o $r^2$ $r^2$ $r^2$ $r^2$ $\alpha$ e com OLS é superior a qualquer teste sobre exceto em um caso raro (talvez) de um aplicativo de calibração de modelagem preditiva não aninhada ... mas o BIC provavelmente seria uma medida melhor nesse cenário. $\beta$ $r^2$

— AdamO
fonte

1

r^{2}

$r^2$

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

— AdamO

1

$p$ $r$ $r^2$ $r$ $r^2$ $p$

$p$ $b$ $b$ $0$ $r$ $r^2$ $r^2$

$p$ $a$ $0$ $0$ $0$

$p$ $r^2$

— Duncan
fonte

4

F

$F$

R^{2}

$R^2$

F

$F$

R^{2}

$R^2$

n

$n$

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$

b

$b$

R^{2}

$R^2$

Na prática, parece que as pessoas não pensam em termos do significado de r ou r ^ 2. O que pode ser mais útil é um intervalo de confiança ao seu redor.

— N Brouwer