Redes neurais invariantes de permutação

Dada uma rede neural $f$ que recebe como entrada $n$ pontos de dados: $x_1, \dots, x_n$ . Dizemos que $f$ é permutação invariável se

$f (x_{1} . . . x_{n}) = f (p i (x_{1} . . . x_{n}))$ $f(x_1 ... x_n) = f(pi(x_1 ... x_n))$

para qualquer permutação $pi$ .

Alguém poderia recomendar um ponto de partida (artigo, exemplo ou outro artigo) para redes neurais invariantes de permutação?

neural-networks machine-learning reference-request

— Josef Ondrej
fonte

Pergunta interessante. Você deseja tratar suas entradas como um conjunto e não como um vetor. Supondo que suas entradas sejam escalares ou comparáveis, você considerou ordenar suas entradas para criar uma representação canônica invariante de permutação e alimentá-la para uma rede regular?

— Mjul 04/04

@mjul Minhas entradas são séries de apostas de clientes (cada aposta é representada por um vetor de algumas variáveis categóricas e contínuas). Eu poderia ordená-los cronologicamente, por exemplo, mas como o intervalo de tempo entre as apostas para cada cliente é muito diferente, isso não faria muito sentido. Provavelmente isso poderia ser resolvido usando alguma função (fixa ou aprendida) do tempo que deterioraria os coeficientes de cada aposta. Mas acho que a ordem realmente não importa nesse caso, então eu queria experimentar primeiro os dados não ordenados, o que obviamente exige o tratamento simétrico das apostas de cada cliente.

— Josef Ondrej

Qual é a saída de rede? Se a rede for invariante, a saída será a mesma para qualquer ordem de entrada. É isso que voce quer?

— precisa saber é o seguinte

@ BlueMoon93 Sim, é exatamente isso que eu quero. A saída pode ser qualquer coisa (número, vetor), desde que não dependa da ordem das entradas.

— Josef Ondrej

por que você deseja uma rede neural invariante de permutação?

— kc sayz 'kc sayz' 12/12

Respostas:

Até onde eu sei, ninguém tentou isso, devido à maneira como a rede está estruturada. Cada entrada possui um conjunto de pesos conectados a mais entradas. Se as entradas mudarem, a saída também mudará .

No entanto, você pode criar uma rede que aborda esse comportamento. No seu conjunto de treinamento, use o aprendizado em lote e, para cada amostra de treinamento, forneça todas as permutações possíveis à rede, de modo que ela aprenda a ser invariante. Isso nunca será exatamente invariável, apenas poderá estar próximo .

Outra maneira de fazer isso é replicar os pesos para todas as entradas. Por exemplo, vamos supor que você tenha 3 entradas (i0, i1, i2), e a próxima camada oculta possui 2 nós (hl0, hl1) e a função de ativação F. Assumindo uma camada totalmente conectada, você tem 2 pesos w0 e w1. Os nós da camada oculta hl0 e hl1 são dados, respectivamente, por

hl0 = F (i0w0 + i1w0 + i2w0)
hl1 = F (i0w1 + i1w1 + i2w1)

Dando assim a você uma camada oculta cujos valores são permutantes invariantes da entrada. A partir de agora, você poderá aprender e construir o restante da rede como achar melhor. Esta é uma abordagem derivada de camadas convolucionais.

Fora do tópico, isso parece um projeto interessante. Se você deseja colaborar em algum projeto de pesquisa, entre em contato comigo (consulte meu perfil)

— BlueMoon93
fonte

A primeira abordagem sugerida seria inviável no meu caso devido à complexidade computacional. O segundo, por outro lado, parece talvez muito restritivo. Mas é certamente um bom começo. O que eu vim até agora é uma abordagem semelhante à que encontrei neste artigo: arxiv.org/pdf/1612.04530.pdf . Primeiro, considero todos os pares (geralmente todas as k-tuplas) das entradas x_i, x_j, i, j em 0 ... ne aplico alguma rede neural em todos eles (o mesmo nn em cada par). Isso me dá n ** 2 saídas f (x_i, x_j) e então eu as calculo a média (ou tomo o máximo) e aplico anoter nn sobre o resultado.

— Josef Ondrej

É isso que eu criei

— Josef Ondrej

Aqui estão alguns que podem ser o que você está procurando:

Conjuntos profundos, https://papers.nips.cc/paper/6931-deep-sets.pdf
BRUNO: Um modelo recorrente profundo para dados intercambiáveis, https://arxiv.org/pdf/1802.07535.pdf
Aprendizado profundo com conjuntos e nuvens de pontos, https://openreview.net/pdf?id=HJF3iD9xe
Redes neurais equivalentes a permutação aplicadas à predição dinâmica, https://arxiv.org/pdf/1612.04530.pdf

— elgehelge
fonte

Eu implementei Camada Permutacional aqui usando Keras: https://github.com/off99555/superkeras/blob/master/permutational_layer.py

Você pode chamar a PermutationalModulefunção para usá-la.

Implementado após este artigo: https://arxiv.org/pdf/1612.04530.pdf

A idéia é comparar todos os pares de N ^ 2 pares de N entradas, usar o modelo com pesos compartilhados e, em seguida, usar a função de agrupamento N vezes em N entradas. A saída que você pode usar no pool novamente, mas no jornal, eles não mencionam outro pool.

— off99555
fonte