O que são polinômios ortogonais multivariados calculados em R?

Polinômios ortogonais em um conjunto univariado de pontos são polinômios que produzem valores nesses pontos de maneira que seu produto escalar e a correlação pareada sejam zero. R pode produzir polinômios ortogonais com a função poli .

A mesma função possui um polímero variante que produz polinômios ortogonais em um conjunto de pontos multivariados. De qualquer forma, os polinômios resultantes não são ortogonais no sentido de ter correlação zero em pares. De fato, como os polinômios de primeira ordem são apenas as variáveis ​​originais, os polinômios de primeira ordem não serão ortogonais, a menos que as variáveis ​​originais não estejam correlacionadas.

Então, minhas perguntas são:

• Quais são os polinômios ortogonais multivariados calculados pelo polímero em R? Eles são apenas o produto dos polinômios ortogonais univariados? Para que são usados?
• Podem existir polinômios ortogonais multivariados verdadeiros? Existe uma maneira fácil de produzi-los? Em R? Eles são realmente usados ​​em regressão?

Atualizar

Em resposta ao comentário de Superpronker, dou um exemplo do que quero dizer com polinômios não correlacionados:

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

A função poli retorna os polinômios ortogonais avaliados nos pontos x (aqui 10.000 pontos para cada polinômio). A correlação entre valores em diferentes polinômios é zero (com algum erro numérico).

Ao usar polinômios multivariados, as correlações são diferentes de zero:

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

Portanto, não entendo em que sentido esses polinômios bivariados são ortogonais.

Atualização 2

Quero esclarecer o significado de "polinômios ortogonais" usados ​​na regressão, porque esse contexto pode ser de alguma maneira enganoso ao aplicar as idéias de polinômios ortogonais em intervalos conectados - como no comentário do Superpronker anterior.

Cito a Regressão Prática de Julian J. Faraway e Anova usando as páginas R 101 e 102:

Polinômios ortogonais contornam esse problema definindo

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ etc. onde os coeficientes a, b, c ... são escolhidos para que $z_i^T·z_j=0$quando $i \neq j$ . Os z são chamados polinômios ortogonais.

Por uma ligeira abuso de linguagem, aqui o autor utiliza $z_i$ tanto para o polinômio (como uma função) e para o vetor dos valores do polinômio leva nos pontos do conjunto $x$ . Ou talvez nem seja um abuso de linguagem, porque desde o início do livro $x$ tem sido o preditor (por exemplo, o conjunto de valores adotados pelo preditor).

Esse significado de polinômios ortogonais não é realmente diferente dos polinômios ortogonais em um intervalo. Podemos definir polinômios ortogonais da maneira usual (usando integrais) sobre qualquer conjunto mensurável com qualquer função de medida. Aqui temos um conjunto finito ( $x$ ) e estamos usando produto de ponto em vez de integral, mas ainda são polinômios ortogonais se tomarmos nossa função de medida como o delta de Dirac nos pontos de nosso conjunto finito.

E em relação à correlação: produto pontual de vetores ortogonais em $R^n$ (como a imagem de vetores ortogonais em um conjunto finito). Se o produto escalar de dois vetores for zero, a covariância é zero e se a covariância é zero, a correlação é zero. No contexto de modelos lineares é muito útil relacionar "ortogonal" e "não correlacionado", como no "desenho ortogonal de experimentos".

Vamos explorar o que está acontecendo. Tenho certeza de que você já conhece a maior parte do material a seguir, mas para estabelecer notação e definições e tornar as idéias claras, abordarei o básico da regressão polinomial antes de responder à pergunta. Se desejar, Rvá para o cabeçalho "O que faz" cerca de dois terços do caminho nesta postagem e, em seguida, volte para todas as definições necessárias.

A configuração

Estamos considerando uma matriz modelo $n\times k$$\mathbb X$ de potenciais variáveis ​​explicativas em algum tipo de regressão. Isso significa que estamos pensando nas colunas de $\mathbb X$ como sendo $n$ vetores $X_1, X_2, \ldots, X_k$ e estaremos formando combinações lineares delas, $\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$ para prever ou estimar uma resposta.

Às vezes, uma regressão pode ser aprimorada através da introdução de colunas adicionais criadas pela multiplicação de várias colunas de $X$ , coeficiente por coeficiente. Esses produtos são chamados de "monômios" e podem ser escritos como

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

onde cada "potência" $d_i$ é zero ou maior, representando quantas vezes cada $X_1$ aparece no produto. Observe que $X^0$ é um vetor $n$ de coeficientes constantes ( $1$ ) e $X^1=X$ si. Assim, monomios (como vectores) gerar um espaço de vector que inclui o espaço de coluna inicial de $\mathbb X.$ A possibilidade de que seja um espaço vetorial maior dá a esse procedimento um escopo maior para modelar a resposta com combinações lineares.

Pretendemos substituir a matriz original do modelo $\mathbb X$ por uma coleção de combinações lineares de monômios. Quando o grau de pelo menos um desses monômios excede $1,$ isso é chamado de regressão polinomial.

Gradings of polynomials

O grau de um monômio é a soma de seus poderes, $d_1+d_2+\ldots+d_k.$ O grau de uma combinação linear de monômios (um "polinômio") é o maior grau entre os termos monomiais com coeficientes diferentes de zero. O grau tem um significado intrínseca, porque quando altera a base do espaço vectorial original, cada vector $X_i$ é recém representado por uma combinação linear de todos os vectores; monômios $X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$tornam-se polinômios do mesmo grau; e consequentemente o grau de qualquer polinômio é inalterado.

O grau fornece uma "classificação" natural para essa álgebra polinomial: o espaço vetorial gerado por todas as combinações lineares de monômios em $X$ de grau até e incluindo $d+1,$ chamados de "polinômios de [ou até] grau $d+1$ em $X,$ "estende-se do espaço vectorial de polinómios até grau $d$ em $X.$

Usos da regressão polinomial

Freqüentemente, a regressão polinomial é exploratória no sentido de que não sabemos desde o início quais monômeros devem ser incluídos. O processo de criação de novas matrizes de modelo a partir de monômios e readequação da regressão pode precisar ser repetido várias vezes, talvez um número astronômico de vezes em algumas configurações de aprendizado de máquina.

Os principais problemas com essa abordagem são

1. Os monômios geralmente introduzem quantidades problemáticas de "multicolinearidade" na nova matriz do modelo, principalmente porque os poderes de uma única variável tendem a ser altamente colineares. (A colinearidade entre os poderes de duas variáveis ​​diferentes é imprevisível, porque depende de como essas variáveis ​​estão relacionadas e, portanto, é menos previsível.)

2. Alterar apenas uma coluna da matriz do modelo ou introduzir uma nova ou excluir uma pode exigir uma "reinicialização a frio" do procedimento de regressão, o que pode levar muito tempo para ser computado.

As classificações das álgebras polinomiais fornecem uma maneira de superar os dois problemas.

Polinômios ortogonais em uma variável

Dado um vetor de coluna única $X,$ um conjunto de "polinômios ortogonais" para $X$ é uma sequência de vetores de coluna $p_0(X), p_1(X), p_2(X),\ldots$ formados como combinações lineares de monômios somente em $X$ - ou seja, como potências de $X$ as seguintes propriedades:

1. Para cada grau $d=0, 1, 2, \ldots,$ os vetores $p_0(X), p_1(X), \ldots, p_d(X)$ geram o mesmo espaço vetorial que $X^0, X^1, \ldots, X^d.$ (Observe que $X^0$ é o vetor $n$ de um e $X^1$ é apenas $X$ próprio).

2. Os $p_i(X)$ são mutuamente ortogonais no sentido de que para $i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

Normalmente, a matriz do modelo de substituição

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ formada a partir desses monômios é escolhida para ser ortonormal , normalizando suas colunas para o comprimento da unidade: $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ Porque o inverso de $\mathbb{P}^\prime \mathbb{P}$ aparece na maioria das equações de regressão e o inverso da matriz de identidade $\mathbb{I}_{d+1}$ por si só, isso representa um enorme ganho computacional.

A ortonormalidade quase determina o $p_i(X).$ Você pode ver isso por construção:

• O primeiro polinômio, $p_0(X),$ deve ser um múltiplo do $n$ vetor $\mathbf{1}=(1,1,\ldots,1)^\prime$ de comprimento da unidade. Existem apenas duas opções,$\pm \sqrt{1/n}\mathbf{1}.$ É habitual escolher a raiz quadrada positiva.

• O segundo polinômio, $p_1(X),$ deve ser ortogonal a $\mathbf{1}.$ Ele pode ser obtido pela regressão $X$ contra $\mathbf{1},$ cuja solução é o vector dos valores médios X = ˉ X 1 . Se os resíduos ε = X - X não são identicamente zero, eles dão apenas as duas soluções possíveis p 1 ( X ) = ± ( 1 / | | ε | |$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• Geralmente, $p_{d+1}(X)$ é obtido por regressão de $X^{d+1}$ contra $p_0(X), p_1(X), \ldots, p_d(X)$ e redimensionando os resíduos como um vetor de comprimento unitário. Existem duas opções de sinal quando os resíduos não são todos zero. Caso contrário, o processo termina: será infrutífera de olhar para quaisquer poderes mais altos de $X.$ (Esse é um bom teorema, mas sua prova não precisa nos distrair aqui.)

Este é o processo de Gram-Schmidt aplicado à sequência intrínseca dos vetores $X^0, X^1, \ldots, X_d, \ldots.$ Geralmente é calculado usando uma decomposição QR, que é quase a mesma coisa, mas calculada de maneira numericamente estável.

Essa construção gera uma sequência de colunas adicionais a serem consideradas, incluindo na matriz do modelo. A regressão polinomial em uma variável, portanto, geralmente prossegue adicionando elementos dessa sequência, um por um, em ordem, até que nenhuma melhoria adicional na regressão seja obtida. Como cada nova coluna é ortogonal às anteriores, inclusive ela não altera nenhuma das estimativas anteriores do coeficiente. Isso cria um procedimento eficiente e prontamente interpretável.

Polinômios em várias variáveis

A regressão exploratória (assim como o ajuste do modelo) geralmente prossegue considerando primeiro quais variáveis ​​(originais) incluir em um modelo; avaliando se essas variáveis ​​poderiam ser aumentadas, incluindo várias transformações delas, como monômios; e, em seguida, introduzindo "interações" formadas a partir de produtos dessas variáveis ​​e suas re-expressões.

A execução de tal programa começaria com a formação de polinômios ortogonais univariados nas colunas de $\mathbb X$ separadamente. Depois de selecionar um grau adequado para cada coluna, você introduziria interações.

Nesse ponto, partes do programa univariado são interrompidas. Que sequência de interações você aplicaria, uma a uma, até que um modelo adequado seja identificado? Além disso, agora que realmente entramos no campo da análise multivariável, o número de opções disponíveis e sua crescente complexidade sugerem que pode haver retornos decrescentes na construção de uma sequência de polinômios ortogonais multivariados. Se, no entanto, você tivesse essa sequência em mente, poderia calculá-la usando uma decomposição QR.

---

O que Rfaz

O software para regressão polinomial, portanto, tende a se concentrar na computação de sequências polinomiais ortogonais univariadas . É característico Restender esse suporte o mais automaticamente possível a grupos de polinômios univariados. É isso que polyfaz. (Seu companheiro polymé essencialmente o mesmo código, com menos sinos e assobios; as duas funções fazem as mesmas coisas.)

Especificamente, polycalculará uma sequência de polinômios ortogonais univariados quando receber um único vetor $X,$ parando em um grau especificado $d.$ (Se $d$ é muito grande - e pode ser difícil prever quão grande é -, infelizmente, isso gera um erro.) Quando um conjunto de vetores $X_1, \ldots, X_k$ recebe um formato na matriz $\mathbb X,$ vai voltar

1. Sequências de polinômios ortonormais $p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$ para cada $j$ com um grau máximo solicitado $d.$ (Como o vetor constante $p_0(X_i)$ é comum a todas as variáveis ​​e é muito simples - geralmente é acomodado pela interceptação na regressão - Rnão se preocupa em incluí-lo.)

2. Todas as interações entre os polinômios ortogonais até e incluindo os de grau $d.$

O passo (2) envolve várias sutilezas. Geralmente, por uma "interação" entre variáveis, queremos dizer "todos os produtos possíveis", mas alguns desses produtos possíveis terão graus maiores que $d.$ Por exemplo, com $2$ variáveis $d=2,$ R calcula

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

Rque não incluem as interacções maior grau $p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$ (polinómios de grau 3) ou $p_1(X_2)p_2(X_2)$ (um polinômio de grau 4). (Essa não é uma limitação séria, pois você pode facilmente calcular esses produtos ou especificá-los em um formulaobjeto de regressão .)

Outra sutileza é que nenhum tipo de normalização é aplicado a nenhum dos produtos multivariados. No exemplo, o único produto desse tipo é $p_1(X_1)p_1(X_2).$ No entanto, não há garantia de que sua média seja zero e quase certamente não terá norma unitária. Neste sentido, é um verdadeiro "interacção" entre $p_1(X_1)$ e $p_1(X_2)$ e, como tal, pode ser interpretado como as interacções são geralmente em um modelo de regressão.

Um exemplo

Let's look at an example. I have randomly generated a matrix

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$ To make the calculations easier to follow, everything is rounded to two significant figures for display.

$X_1 = (1,5,2)^\prime$$X_1^0= (1,1,1)^\prime$$p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$ The next step includes $X_1^1 = X_1$ itself. To make it orthogonal to $p_0(X_1),$ regress $X_1$ against $p_0(X_1)$ and set $p_1(X_1)$ equal to the residuals of that regression, rescaled to have unit length. The result is the usual standardization of $X_1$ obtained by recentering it and dividing by its standard deviation, $p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$ Finally, $X_1^2 = (1,25,4)$ is regressed against $p_0(X_1)$ and $p_1(X_1)$ and those residuals are rescaled to unit length. We cannot go any further because the powers of $X_1$ cannot generate a vector space of more than $n=3$ dimensions. (We got this far because the minimal polynomial of the coefficients of $X_1,$ namely $(t-1)(t-5)(t-4),$ has degree $3,$ demonstrating that all monomials of degree $3$ or larger are linear combinations of lower powers and those lower powers are linearly independent.)

The resulting matrix representing an orthonormal polynomial sequence for $X_1$ is

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(to two significant figures).

In the same fashion, an orthonormal polynomial matrix for $X_2$ is

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

The interaction term is the product of the middle columns of these matrices, equal to $(0.35, 0.61, 0.035)^\prime.$ The full matrix created by poly or polym, then, is

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

Notice the sequence in which the columns are laid out: the non-constant orthonormal polynomials for $X_1$ are in columns 1 and 2 while those for $X_2$ are in columns 3 and 5. Thus, the only orthogonality that is guaranteed in this output is between these two pairs of columns. This is reflected in the calculation of $\mathbb{P}^\prime\mathbb{P},$ which will have zeros in positions $(1,2), (2,1), (3,5),$ and $(5,3)$ (shown in red below), *but may be nonzero anywhere else, and will have ones in positions $(1,1), (2,2), (3,3),$ and $(5,5)$ (shown in blue below), but is likely not to have a one in the other diagonal positions ($(4,4)$ in this example). Indeed,

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

When you inspect the $\mathbb P$ matrix shown in the question, and recognize that multiples of $10^{-17}$ are really zeros, you will observe that this pattern of zeros in the red positions holds. This is the sense in which those bivariate polynomials are "orthogonal."