Como provar que

Eu tenho tentado estabelecer a desigualdade

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

onde é a média da amostra e o desvio padrão da amostra, que é . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

É fácil ver que e assim mas isso não está muito próximo do que eu estava procurando, nem é um limite útil. Eu experimentei as desigualdades de Cauchy-Schwarz e do triângulo, mas não fui a lugar algum. Deve haver um passo sutil que estou perdendo em algum lugar. Gostaria muito de receber ajuda, obrigado. $\sum_{i=1}^n T_i^2 = n-1$ $\left| T_i \right| < \sqrt{n-1}$

self-study descriptive-statistics bounds

— JohnK
fonte

Respostas:

Essa é a desigualdade de Samuelson e precisa do sinal . Se você pegar a versão da Wikipedia e refazê-la para a definição de verá que ela se torna $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

— Soakley
fonte

É dado como uma estrita desigualdade no livro, mas eu o corrigi, obrigado.

— JohnK

Depois de simplificar o problema por meio de procedimentos de rotina, ele pode ser resolvido convertendo-o em um programa de minimização duplo, que possui uma resposta bem conhecida com uma prova elementar. Talvez essa dualização seja o "passo sutil" mencionado na pergunta. A desigualdade também pode ser estabelecida de maneira puramente mecânica, maximizandovia multiplicadores Lagrange. $|T_i|$

Primeiro, porém, ofereço uma solução mais elegante com base na geometria dos mínimos quadrados. Não requer simplificação preliminar e é quase imediato, fornecendo intuição direta ao resultado. Como sugerido na pergunta, o problema se reduz à desigualdade de Cauchy-Schwarz.

Solução geométrica

Considere como um vetor dimensional no espaço euclidiano com o produto pontual usual. Seja seja o vetor base e . Escreva e para as projeções ortogonais de e no complemento ortogonal de . (Na terminologia estatística, eles são os resíduos com relação às médias.) Então, como e $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{i} | = \sqrt{n - 1} \frac{| \hat{x} \cdot y |}{| | \hat{x} | |} = \sqrt{n - 1} \frac{| \hat{x} \cdot \hat{y} |}{| | \hat{x} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

é o componente de na direção . Por Cauchy-Schwarz, ele é maximizado exatamente quando é paralelo a , para o qual QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Aliás, esta solução fornece uma caracterização exaustiva de todos os casos em queé maximizado: eles têm todas as formas $|T_i|$

x = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

para todo real . $\mu, \sigma$

Essa análise generaliza facilmente para o caso em que é substituído por qualquer conjunto de regressores. Evidentemente, o máximo de é proporcional ao comprimento do resíduo de ,. $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Simplificação

Como é invariável sob mudanças de localização e escala, podemos assumir, sem perda de generalidade, que soma zero e seus quadrados somam . Isso identificacom, uma vez que (o quadrado médio) é . Maximizar isso equivale a maximizar . Nenhuma generalidade é perdida ao considerar , pois os são permutáveis. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Solução através de uma formulação dupla

Um problema duplo é fixar o valor de e perguntar quais valores do restante são necessários para minimizar a soma dos quadrados considerando que . Como é fornecido, esse é o problema de minimizar considerando que . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

A solução é facilmente encontrada de várias maneiras. Um dos mais elementares é escrever

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

para o qual . Expandir a função objetivo e usar essa identidade de soma para zero para simplificá-la produz $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

mostrar imediatamente a solução exclusiva é para todos os . Para esta solução, $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

| T_{i} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Solução através de máquinas

Retorne ao programa simplificado com o qual começamos:

Maximize X_{1}^{2}

$\text{Maximize } X_1^2$

sujeito a

\sum_{i = 1}^{n} X_{i} = 0 and \sum_{i = 1}^{n} X_{i}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

O método dos multiplicadores de Lagrange (que é quase puramente mecânico e direto) iguala a uma combinação linear não trivial dos gradientes dessas três funções para zero:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Componente por componente, essas equações são $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

O último deles implica ou . (Podemos descartar o último caso, porque a primeira equação implica , banalizando a combinação linear.) A restrição de soma para zero produz . A restrição da soma dos quadrados fornece as duas soluções $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Ambos produzem

| T_{i} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

— whuber
fonte

Obrigado pelo seu adendo, a geometria é muito poderosa e, das três soluções, é a mais intuitiva para mim.

— JohnK

A desigualdade como afirmada é verdadeira. É bastante claro intuitivamente que obtemos o caso mais difícil da desigualdade (isto é, maximizar o lado esquerdo e o lado dado ) escolhendo um valor, digamos o maior possível, mantendo todos os outros iguais. Vejamos um exemplo com essa configuração: $S^2$ $x_1$

n = 4, x_{1} = x_{2} = x_{3} = 0, x_{4} = 4, \bar{x} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ agora dependendo de , enquanto o limite superior especificado é igual a que é apenas o suficiente. Essa ideia pode ser concluída para uma prova.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

EDITAR

Agora provaremos a reivindicação, como sugerido acima. Primeiro, para qualquer vetor dado nesse problema, podemos substituí-lo por sem alterar os dois lados da desigualdade acima. Portanto, a seguir, assumamos que . Também podemos mudar o rótulo assumindo que é o maior. Então, escolhendo primeiro e depois , podemos verificar, por álgebra simples, se temos igualdade na desigualdade reivindicada. Então, é afiado. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Em seguida, defina a região (convexa) por para uma constante positiva positiva . Observe que é a interseção de um hiperplano com uma esfera centralizada na origem, assim como uma esfera no espaço . Nosso problema agora pode ser formulado como desde que um $R$

R = {x \in R : \bar{x} = 0, \sum (x_{i} - \bar{x})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

max_{x \in R} max_{i} | x_{i} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ maximizar esse será o caso mais difícil para a desigualdade. Esse é um problema de encontrar o máximo de uma função convexa em um conjunto convexo, que em geral são problemas difíceis (os mínimos são fáceis!). Mas, neste caso, a região convexa é uma esfera centrada na origem, e a função que queremos maximizar é o valor absoluto das coordenadas. É óbvio que esse máximo é encontrado na esfera de fronteira de e usandoNo máximo, nosso primeiro caso de teste é forçado.

R

$R$

| x_{1} |

$|x_1|$

— kjetil b halvorsen
fonte

@JohnK você pode excluir seus comentários agora, o cargo é corrigida

— b Kjetil Halvorsen

Embora essa resposta mostre que a desigualdade (supondo que seja verdadeira, ou seja) seja pequena , não é evidente como esse cálculo único poderia ser "concluído como prova". Você poderia fornecer alguma indicação de como isso seria feito?

— whuber

Will, mas amanhã, agora eu tenho que preparar a aula de amanhã.

— Kjetil b halvorsen

Obrigado. Agradeço sua formulação cuidadosa do problema. Mas sua "prova" parece chegar à afirmação de que "é óbvio isso". Você sempre pode aplicar multiplicadores Lagrange para concluir o trabalho, mas seria bom ver uma abordagem que (a) seja realmente uma prova e (b) forneça informações.

— whuber

@whuber Se você tiver tempo, agradeceria se você pudesse publicar sua solução de multiplicadores Lagrange. Penso que a desigualdade global não é tão famosa como deveria ser.

— #