“Teorema de Noether profundo”: construindo restrições de simetria

Se eu tiver um problema de aprendizado que deva ter uma simetria inerente, existe uma maneira de sujeitar meu problema de aprendizado a uma restrição de simetria para aprimorar o aprendizado?

Por exemplo, se estou fazendo reconhecimento de imagem, talvez queira simetria rotacional 2D. Significa que a versão girada de uma imagem deve obter o mesmo resultado que o original.

Ou, se estou aprendendo a jogar o jogo da velha, girar 90 graus deve render o mesmo jogo.

Alguma pesquisa foi feita sobre isso?

A partir do comentário de Emre acima, a Seção 4.4 dos métodos teóricos de grupo em aprendizado de máquina de Risi Kondor tem informações detalhadas e provas sobre a criação de métodos de kernel que inerentemente possuem simetrias. Vou resumir isso de uma maneira esperançosamente intuitiva (eu sou um físico, não um matemático!).

A maioria dos algoritmos de ML tem uma multiplicação de matrizes como,

$$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$$ com $\vec{x}$ sendo a entrada e$W_{ij}$sendo os pesos que desejam comboio.

Método do Kernel

Digite o domínio dos métodos do kernel e deixe o algoritmo manipular a entrada via,

$$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$$ onde agora se generalizar para$x, e_j \in \mathcal{X}$.

Considere-se um grupo $G$ que actua em $\mathcal{X}$ através $x \rightarrow T_g(x)$ para o $g \in G$ . Uma maneira simples de tornar nosso algoritmo invariável nesse grupo é criar um kernel,

$$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$$ com$k(x, y) = k(T_g(x), T_g(y))$.

Então,

$$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$$

Para $k(x, y) = x \cdot y$ que funciona para todas as representações unitárias,

$$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$$

Que oferece uma matriz de transformação que pode simetrizar a entrada no algoritmo.

Exemplo SO (2)

Na verdade, apenas o grupo que mapeia para $\frac{\pi}{2}$ rotações para simplificar.

Vamos executar a regressão linear nos dados $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$ onde esperamos uma simetria rotacional.

Nosso problema de otimização se torna,

$$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$$

O núcleo $k(x, y) = \| x - y \|^2$ satisfaz $k(x, y) = k(T_g(x), T_g(y))$ . Você também pode usar $k(x, y) = x \cdot y$ e uma variedade de núcleos.

Assim,

$$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$$

$j$

$$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$$

Which yields the expected spherical symmetry!

Tic-Tac-Toe

Example code can be seen here. It shows how we can create a matrix that encodes the symmetry and use it. Note that this is really bad when I actually run it! Working with other kernels at the moment.

Turns out this is just the study of Invariant Theory applied to Machine Learning