Abandono na regressão linear

Eu tenho lido o artigo original sobre desistência, ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) e na seção de regressão linear, afirma-se que:

$\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right]$

reduz para:

$\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2$

Estou tendo problemas para entender como eles chegaram a esse resultado. Alguém pode ajudar?

$\newcommand{E}{\text{E}}$ Primeiro, deixe por conveniência. Expandindo a perda, temos Tomando a expectativa em , temos O valor esperado de uma matriz é a matriz dos valores esperados em células, então então Para o último termo, portanto Se$R * X = M$

$$\|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw.$$ $R$ $$\E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w.$$ $$(\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij}$$ $$2w^T(\E M)^Ty = 2pw^TX^Ty.$$ $$(M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj}$$ $$(\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}.$$ $i \neq j$então eles são independentes, de modo que os elementos fora da diagonal resultam em . Para os elementos diagonais, temos $p^2 (X^TX)_{ij}$ $$\sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}.$$

Terminando isso, podemos observar que e encontramos Em , mostrei que todo elemento fora da diagonal é zero, então o resultado é O documento define então que significa que estão feitos.

$$\|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2w^TX^TXw$$ $$\E_R\|y - Mw\|^2 = y^Ty - 2pw^TX^Ty + w^T\E_R(M^TM)w \\ = \|y - pXw\|^2 - p^2w^TX^TXw + w^T\E_R(M^TM)w \\ = \|y - pXw\|^2 + w^T\left(\E_R(M^TM) - p^2 X^TX\right)w.$$ $\E_R(M^TM) - p^2 X^TX$ $$\E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX).$$ $\Gamma = \text{diag}(X^TX)^{1/2}$$\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$