O que significa ortogonal no contexto da estatística?

60

Em outros contextos, ortogonal significa "em ângulo reto" ou "perpendicular".

O que significa ortogonal em um contexto estatístico?

Obrigado por qualquer esclarecimento.

descriptive-statistics

2

Obrigado pela pergunta. Eu perguntei um mais geral: o que é tão comum entre todos os casos de ortogonalidade. Também estava interessado em saber como a independência estatística satisfaz essa propriedade? physics.stackexchange.com/questions/67506

— Val

5

Surpreende-me que nenhuma das respostas aqui mencione que geralmente se entende no sentido matemático de "álgebra linear" da palavra. Por exemplo, quando falamos de um "conjunto ortogonal de variáveis", geralmente entende-se que para a matriz com o conjunto de variáveis . "ortonormal" também é usado.

X^{T} X = I

$X^{T}X=I$

X

$X$

— probabilityislogic

4

@probability "ortogonal" tem o significado de um espaço vectorial com uma forma quadrática : dois vectores de e são ortogonais se e somente se . "Ortonormal" significa além disso que . Assim, "ortogonal" e "ortonormal" não são sinônimos, nem são restritas a matrizes finitas. ( Por exemplo , e podem ser elementos de um espaço de Hilbert, como o espaço de funções com valor complexo em usado na mecânica quântica clássica.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Esse link pode ajudar a entender a (não) conexão de ortogonalidade e correlação. alecospapadopoulos.wordpress.com/2014/08/16/...

— RBirkelbach

A crescente coleção de respostas diferentes (mas corretas) indica que este é um bom encadeamento CW.

— whuber

-16

Isso significa que elas [as variáveis aleatórias X, Y] são 'independentes' uma da outra. Variáveis aleatórias independentes são muitas vezes consideradas como 'ângulos retos' entre si, onde 'ângulos retos' significa que o produto interno dos dois é 0 (uma condição equivalente da álgebra linear).

Por exemplo, no plano XY, diz-se que os eixos X e Y são ortogonais porque, se o valor x de um determinado ponto muda, digamos, passando de (2,3) para (5,3), seu valor y permanece o mesmo (3), e vice versa. Portanto, as duas variáveis são 'independentes'.

Veja também as entradas da Wikipedia para Independência e Ortogonalidade

— crazyjoe
fonte

24

Como a distinção entre correlação e falta de dependência é importante, igualar ortogonalidade a independência não é uma boa coisa a fazer.

— whuber

Como nem o OP nem o respondente estão ativos há mais de um ano, provavelmente vale a pena editá-lo para pelo menos torná-lo uma resposta clara . Eu tentei isso.

— Assad Ebrahim

11

Um contra-exemplo comum nas estatísticas é o PCA versus o ICA, com o PCA impondo a ortogonalidade e o ICA maximizando a independência.

— Jona

5

Para os moderadores: É uma pena que esta pergunta boa e muito popular esteja "presa" com uma resposta que muitos pensam que seriam melhor rebaixados (pontuação atual -4). Como o OP e o respondente não estão ativos há mais de um ano, talvez a verificação "aceita" possa ser removida e a pergunta seja deixada "aberta". As respostas mais completas abaixo falam por si.

— Assad Ebrahim

11

Os mods do @Assad não podem remover a aceitação do OP. Essa é a província do OP.

— Glen_b

33

Não posso fazer um comentário porque não tenho pontos suficientes, então sou forçado a dizer o que penso como resposta, por favor, perdoe-me. Pelo pouco que sei, discordo da resposta selecionada por @crazyjoe porque a ortogonalidade é definida como

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Assim:

Se com pdf simétrico, eles são dependentes ainda ortogonais. $Y=X^2$

Se mas pdf zero para valores negativos, eles dependem, mas não ortogonais. $Y=X^2$

Portanto, a ortogonalidade não implica independência.

— user497804
fonte

2

Qual é o asterisco (estrela) em ?

Y^{*}

$Y^{*}$

— Mugen

2

@mugen, provavelmente indicando o conjugado complexo.

— A. Donda

Nota para si mesmo (e possivelmente para os outros) - acredito que (para funções com valor real, podemos eliminar o conjugado complexo (?)) É o produto interno das variáveis aleatórias e , definidas como as expectativa do produto de seus PDFs:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— Antoni Parellada

21

Se X e Y são independentes, são ortogonais. Mas o inverso não é verdadeiro, como apontado pelo exemplo inteligente do usuário497804. Para as definições exatas, consulte

Ortogonal: variáveis aleatórias com valor complexo e são chamadas ortogonais se satisfizerem $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Página 376, Probabilidade e processos aleatórios de Geoffrey Grimmett e David Stirzaker)

Independente: As variáveis aleatórias e são independentes se e somente se para todos os $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

que, para variáveis aleatórias contínuas, é equivalente a exigir que $f(x,y) = f_X(x)f_Y(y)$

(Página 99, Probabilidade e processos aleatórios de Geoffrey Grimmett e David Stirzaker)

— Naresh
fonte

21

O @Mien já forneceu uma resposta e, como apontado pelo @whuber, ortogonal significa não correlacionado. No entanto, eu realmente gostaria que as pessoas fornecessem algumas referências. Você pode considerar úteis os seguintes links, uma vez que explicam o conceito de correlação de uma perspectiva geométrica.

A geometria dos vetores (ver p. 7)
Variáveis linearmente independentes, ortogonais e não correlacionadas
Representação gráfica da correlação bidimensional no espaço vetorial (pode não ser livre para você)

— Bernd Weiss
fonte

11

O segundo link explicava tudo o que eu queria saber. Obrigado! :)

— Lenar Hoyt

Variáveis aleatórias com valor real Xe Ynão são correlacionadas se e somente se as variáveis centralizadas X-E(X)e Y-E(Y)são ortogonais. [ref]

— knedlsepp 14/07

11

@Bernd Os primeiros dois links não estão funcionando.

— oprimido

@Oprimido Estou supondo que este é o artigo que o segundo link estava apontando.

— 217 Josh O'Brien

8

Um site do NIST (ref abaixo) define ortogonal da seguinte maneira: "Um projeto experimental é ortogonal se os efeitos de qualquer fator se equilibrarem (soma a zero) nos efeitos de outros fatores".

No desenho estatístico, entendo ortogonal o significado de "não cofundado" ou "sem alias". Isso é importante ao projetar e analisar seu experimento, se você quiser identificar claramente diferentes fatores / tratamentos. Se o seu experimento projetado não for ortogonal, significa que você não será capaz de separar completamente os efeitos de diferentes tratamentos. Assim, você precisará realizar um experimento de acompanhamento para desconfigurar o efeito. Isso seria chamado de degngn aumentado ou design comparativo.

Independência parece ser uma má escolha de palavras, pois é usada em muitos outros aspectos do design e da análise.

Ref NIST http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Chris
fonte

3

+1 para introduzir um contexto de design experimental. A palavra "ortogonal" merece ser usada aqui, porque na verdade é exatamente a mesma coisa que o conceito matemático: os vetores (colunas) representando os fatores do experimento, considerados como elementos de um espaço euclidiano, serão de fato ortogonais (à direita) ângulos, com um produto de ponto zero) em um desenho ortogonal.

— whuber

2

É mais provável que eles signifiquem "não relacionados" se disserem "ortogonais"; se dois fatores são ortogonais (por exemplo, na análise fatorial), eles não são relacionados, sua correlação é zero.

— Mien
fonte

3

O coeficiente de correlação é (ou é naturalmente interpretável como) o cosseno de um ângulo. Quando é zero, qual você acha que é o ângulo? :-) Não correlacionado não significa não relacionado!

— whuber

Não estou dizendo que você está errado, mas você poderia me dar um exemplo de algo não relacionado e relacionado; ou vice-versa? Não sei se entendi a diferença.

— Mien

E sim, eu sei que esse ângulo seria 90 °. Um ângulo reto é ortogonal.

— Mien

5

Seja uma variável aleatória assumindo valores em com igual probabilidade e seja . A correlação entre e é , mas é evidente que elas estão relacionadas: é uma função de .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— assumednormal

Ah sim obrigado. Mas o oposto não é possível, é (se não houver uma terceira variável ou algo semelhante)?

— Mien

2

De acordo com http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , a independência linear é uma condição necessária para ortogonalidade ou não correlação. Mas existem distinções mais finas, em particular, ortogonalidade não é falta de correlação.

— user45059
fonte

1

Fiz uma pergunta semelhante Qual é a relação entre ortogonalidade e a expectativa do produto dos RVs e reproduzo a resposta aqui. Embora a ortogonalidade seja um conceito da Álgebra Linear e signifique que o produto escalar de dois vetores é zero, o termo às vezes é vagamente usado em estatística e significa não correlação. Se dois vetores aleatórios são ortogonais, então sua contrapartida centralizada não está correlacionada, porque a ortogonalidade (produto com ponto zero) implica na não correlação dos vetores aleatórios centralizados (às vezes as pessoas dizem que a ortogonalidade implica que o momento cruzado é zero). Sempre que temos dois vetores aleatórios , sempre podemos centralizá-los em torno de seus meios para fazer com que sua expectativa seja zero. Suponha ortogonalidade ( $(X,Y)$ $X\cdot Y=0$ ), então a correlação das variáveis aleatórias centralizadas é

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
fonte

1

Em econometria, a suposição de ortogonalidade significa que o valor esperado da soma de todos os erros é 0. Todas as variáveis de um regressor são ortogonais aos seus termos de erro atuais.

Matematicamente, a suposição de ortogonalidade é . $E(x_{i}·ε_{i}) = 0$

Em termos mais simples, significa que um regressor é "perpendicular" ao termo do erro.

— Leopold W.
fonte

-2

Dois ou mais IVs não são relacionados (independentes) um ao outro, mas ambos têm influência no DV. Cada IV contribui separadamente com um valor distinto para o resultado, enquanto ambos ou todos os IVs também contribuem de maneira aditiva na predição de renda (ortogonal = influência de IVs sem interseção em um DV). Os IVs não são correlacionais entre si e geralmente posicionados em ângulo reto * veja o diagrama de Venn.

Exemplo: Relação entre motivação e anos de escolaridade em renda.

IV = Anos de Educação IV = Motivação DV = Renda

https://onlinecourses.science.psu.edu/stat505/node/167

— Pat
fonte

-2

As variáveis aleatórias relacionadas significam que as variáveis dizem que X e Y podem ter qualquer relacionamento; pode ser linear ou não linear. A independência e as propriedades ortogonais são as mesmas se as duas variáveis estiverem linearmente relacionadas.

— J Subramani
fonte

2

Isso perpetua o erro cometido por crazyjoe: a ortogonalidade não implica independência, a menos que as variáveis sejam normalmente distribuídas em conjunto.

— whuber