Desigualdade do Oracle: em termos básicos

Estou revisando um artigo que usa a desigualdade do oráculo para provar algo, mas não consigo entender o que ele está tentando fazer. Quando pesquisei on-line sobre 'Oracle Inequality', algumas fontes me direcionaram ao artigo "Candes, Emmanuel J. 'Estimativa estatística moderna via desigualdades no oráculo". ", que pode ser encontrado aqui https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Mas este livro parece pesado demais para mim e acredito que não tenho alguns pré-requisitos.

Minha pergunta é: como você explicaria o que é uma desigualdade do oráculo para um aluno que não é de matemática (inclui engenheiros)? Em segundo lugar, como você recomendaria que eles realizassem os pré-requisitos / tópicos antes de tentar aprender algo como o livro mencionado acima.

Eu recomendo que alguém que tenha uma compreensão concreta e boa experiência em estatísticas de alta dimensão responda a isso.

— Wolcott
fonte

Qualquer pessoa com mais de 1k de reputação pode oferecer recompensa nesta questão. Isso realmente ajudaria. Eu não acho que os usuários gerais de CV estariam familiarizados com esse conceito, já que a maioria dos usuários usa estatísticas para análise de dados e não análise teórica, embora, como uma comunidade completamente baseada em estatísticas, acredito que deve haver alguém que possa responder adequadamente a isso. Acredito que a pergunta não tenha recebido atenção suficiente.

— Wolcott

Eu tinha pensado sobre a mesma pergunta

— jeza 23/04

A "definição" fornecida na p.22 do link "Uma desigualdade do oráculo relaciona o desempenho de um estimador real com o de um estimador ideal que depende de informações perfeitas fornecidas por um oráculo e que não está disponível na prática". Isso não transmite a essência da definição para você?

— Mark L. Stone

@ Mark L. Stone para mim, isso não acontece

— jeza

Nem mesmo quando você olha para o exemplo e a discussão fornecidos nas poucas frases anteriores, ou seja, a afirmação e discussão do Teorema 4.1, como um exemplo de desigualdade no oráculo? Nos termos dos leigos: Puxa, não sabemos o valor ótimo (fornecido por um oráculo) do fator de contração que devemos usar. Mas saber que o valor ideal do fator de contração poderia melhorar o MSE em não mais que 2 versus não ter o fator de contração ideal do oráculo.

— Mark L. Stone

Vou tentar explicá-lo em caso linear. Considere o modelo linear Quando (número de variáveis independentes ou menos iguais, então o número de observação) e matriz de design tem posto completo, o estimador de mínimos quadrado de é

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

e erro de predição é

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

a partir da qual podemos deduzir

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

Isto significa que cada parâmetro

é estimado com precisão quadrado

Portanto, sua precisão quadrática geral é

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

$(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

$l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$

c o n s t .

$const.$

p

$p$

n

$n$

— Dato Gogolashvili
fonte

A rigor, não precisamos que o número de observações seja menor que o número de variáveis independentes para que toda a parte subsequente esteja correta.

— precisa saber é o seguinte

Você pode explicar como conseguiu a equação de expectativa (penúltima a equação) e a desigualdade (última equação)?

— user13985

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

(σ^{2} / n) p

$(\sigma^2/n)p$