Considere o modelo linear simples:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

onde $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ e $X\in\mathbb{R}^{n\times p}$ ,$p\geq2$ e$X$ contém uma coluna de constantes.

Meu questão é, dado $\mathrm{E}(X'X)$ , $\beta$ e $\sigma$ , existe uma fórmula para um não trivial limite superior $\mathrm{E}(R^2)$ *? (assumindo que o modelo foi estimado pelo OLS).

* Eu assumi, escrevendo isso, que a obtenção de $E(R^2)$ em si não seria possível.

EDIT1

utilizando a solução derivada por Stéphane Laurent (ver abaixo), podemos obter um não trivial limite superior $E(R^2)$ . Algumas simulações numéricas (abaixo) mostram que esse limite é realmente muito apertado.

Stéphane Laurent derivou o seguinte: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ onde $\mathrm{B}(p-1,n-p,\lambda)$ é uma distribuição Beta não central com parâmetro de não centralidade $\lambda$ com

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

então

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

onde $\chi^2_{k}(\lambda)$ é um não central $\chi^2$com parâmetro $\lambda$ e $k$ graus de liberdade. Assim, um não-trivial limite superior para $\mathrm{E}(R^2)$ é

$$\frac{\lambda+p-1}{\lambda+n-1}$$

é muito apertado (muito mais apertado do que o que eu esperava seria possível):

por exemplo, usando:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

a média dos $R^2$ mais de 1000 simulações é 0.960819. O limite superior teórico acima fornece 0.9609081. O limite parece ser igualmente precisos através de muitos valores de $R^2$ . Verdadeiramente surpreendente!

EDIT2:

depois de mais pesquisas, ele aparece que a qualidade da aproximação limite superior para $E(R^2)$ vai ficar melhor como $\lambda+p$ aumenta (e tudo o mais igual, $\lambda$ aumenta com $n$ ).

Qualquer modelo linear pode ser escrito onde G tem a distribuição normal padrão em R n e μ é assumido como pertencendo a um subespaço linear W de R n . No seu caso, W = Im ( X ) .$\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$

Deixe o subespaço linear unidimensional gerado pelo vector ( 1 , 1 , ... , 1 ) . Tomando L = [ 1 ] a seguir, o R 2 é altamente relacionada com a clássica Fisher estatística F = ‖ P Z Y ‖ 2 / ( m - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ para o teste de hipótese deH0:{u∈L}ondeL⊂Wé um subespaço linear, e denotando por Z=L⊥∩Wo complemento ortogonal deLemW, e denotandom=dim(W)eℓ=dim(U

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$(então e ℓ = 1 na sua situação).$m=p$$\ell=1$

De fato, porque a definição deR2seja R2= ‖ P Z Y ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Obviamente e P ⊥ W Y = σ P ⊥ W L .$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Quando é verdadeiro,$H_0\colon\{\mu \in U\}$ então e, portanto, F = ″ P Z G ² 2 / ( m - ℓ $P_Z \mu = 0$ tem adistribuiçãoFisherFm-ℓ,n-m. Consequentemente, a partir da relação clássica entre a distribuição de Fisher e a distribuição Beta,R2∼B(m-ℓ,n-m).

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

In the general situation we have to deal with $P_Z Y = P_Z \mu + \sigma P_Z G$ when $P_Z\mu \neq 0$. In this general case one has ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$, the noncentral $\chi^2$ distribution with $m-\ell$ degrees of freedom and noncentrality parameter $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$$\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$$F$

$R^2$$m-\ell$ and $n-m$ and noncentrality parameter $\lambda$. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down $P_Z\mu$. Note that $P_Z = P_W - P_U$. One has $P_U \mu = \bar\mu 1$ when $U=[1]$, and $P_W \mu = \mu$. Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$.