Cálculo rápido de

Eu tenho a seguinte pergunta:

Suponha que eu tenha duas matrizes $X, Y$ ambas de tamanho $m\times p$ e uma matriz gaussiana iid aleatória $G$ de tamanho $m \times k$ , $m\gg p>k$ .

Existe uma maneira rápida de calcular $\exp(-XY^T)G$ ? Talvez usando o fato de que $X$ e $Y$ sejam muito menores que $XY^T$ ? Aqui, $\exp(\cdot)$ significa expoente de entrada (isto é, de $\textbf{each}$ entrada da matriz). Claramente, sem o expoente, é fácil e pode ser feito simplesmente por $X(Y^TG)$ , mas o problema é que o expoente em elementos não é mais baixo.

A motivação para a pergunta é multiplicar um núcleo do formulário

$D_{ij}=\exp(-d_{ij})$ ou $D_{ij}=\exp(-d_{ij}^2)$

$d_{ij}=\Vert x_i-y_j \Vert$ $x_i, y_i \in \mathbb{R}^p$

Uma solução aproximada também é boa.

linear-algebra matrix

— Gil
fonte

Acho a pergunta clara (infelizmente não tenho nenhuma ideia), mas o fato de o exponencial ser componente do componente acho que enganará muitas pessoas - é uma notação muito padrão para a matriz exponencial , especialmente na teoria das EDOs e EDPs. Você poderia reformular o título um pouco?

\exp (A)

$\exp(A)$

— 21420 Kirill

Definir rápido? Você quer dizer de maneira vetorizada sem fazer um loop por toda a matriz ?

- X Y^{T}

$-XY^T$

— Nligi

Complexidade computacional menor que .

O (m^{2} k)

$\mathbb{O}(m^2k)$

— Gil

Artigo do NIPS'16 que pode ser relevante papers.nips.cc/paper/6246-orthogonal-random-features

— Memming

Eu olhei para o jornal, é muito útil. Obrigado! @Memming

— Gil

Se as aproximações forem suficientes, talvez possamos começar desenvolvendo o operador seguinte maneira: Observe que os termos de potência seguem sua notação em elementos e consulte os poderes de Hadamard, abusando levemente das convenções padrão. $\exp$

\exp (Z) = \sum_{k = 0}^{\infty} \frac{Z^{k}}{k!} = 1 + Z + \frac{Z^{2}}{2} + \frac{Z^{3}}{6} + \frac{Z^{4}}{24} + . . .

$\exp(Z) = \sum\limits_{k=0}^{\infty} \frac{Z^k}{k!} = 1+Z+\frac{Z^2}{2} + \frac{Z^3}{6} + \frac{Z^4}{24} + ...$

Isso oferece possibilidades para reescrever a expressão: onde sou uma matriz de identidade de tamanho apropriado. Se alguém pudesse viver com aproximações de primeira ordem, então: resultando em uma operação mais fácil. Para aproximações de ordem superior, você gostaria de descobrir a solução para o poder Hadamard, que provavelmente é um pouco mais difícil ou ainda não vi uma solução imediata.

\begin{aligned} \exp (- X Y^{T}) G & = (I - X Y^{T} + \frac{(X Y^{T})^{2}}{2} - \frac{(X Y^{T})^{3}}{6} + \frac{(X Y^{T})^{4}}{24} - . . .) G \\ = G - X Y^{T} G + \frac{(X Y^{T})^{2} G}{2} - \frac{(X Y^{T})^{3} G}{6} + \frac{(X Y^{T})^{4} G}{24} - . . . \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= \Big(I-XY^T+\frac{(XY^T)^2}{2} - \frac{(XY^T)^3}{6} + \frac{(XY^T)^4}{24} - ...\Big)G \\ &=G-XY^TG+\frac{(XY^T)^2G}{2} - \frac{(XY^T)^3G}{6} + \frac{(XY^T)^4G}{24} - ... \end{align}$

I

$I$

\begin{aligned} \exp (- X Y^{T}) G & = G - X Y^{T} G + O (m a x (| X Y^{T} |)^{2}) \\ \approx G - X Y^{T} G = G - X (Y^{T} G) \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= G-XY^TG+ O(max(|XY^T|)^2)\\ &\approx G-XY^TG = G-X(Y^TG) \end{align}$

— Tolga Birdal
fonte

Boa ideia. Pequenos detalhes: que deve ser algo como .

O (n^{2})

$O(n^2)$

O ((‖ X ‖ ‖ Y ‖)^{2})

$O((\|X\|\|Y\|)^2)$

— Federico Poloni

@FedericoPoloni, eu concordo. Se você pudesse introduzir uma notação mais apropriada do que usar as normas das matrizes, ficaria feliz em atualizar.

— Tolga Birdal

Bem, o uso de normas parece adequado o suficiente para mim, mas se você preferir, pode escrevê-lo como .

O (max (| X Y^{T} |)^{2})

$O(\max(|XY^T|)^2)$

— Federico Poloni

ok, atualizei.

— precisa