Redes Neurais: Variável de uma quente esmagadora contínua?

Eu tenho dados brutos que possuem cerca de 20 colunas (20 recursos). Dez deles são dados contínuos e 10 deles são categóricos. Alguns dos dados categóricos podem ter 50 valores diferentes (Estados dos EUA). Depois que eu pré-processo os dados, as 10 colunas contínuas se tornam 10 colunas preparadas e os 10 valores categóricos se tornam como 200 variáveis codificadas um a quente. Estou preocupado que, se eu colocar todos esses recursos 200 + 10 = 210 na rede neural, os recursos 200-um-quentes (as 10 colunas categóricas) dominarão totalmente os 10 recursos contínuos.

Talvez um método seja "agrupar" colunas ou algo assim. Essa é uma preocupação válida e existe alguma maneira padrão de lidar com esse problema?

(Estou usando o Keras, embora não ache que isso importe muito.)

— user1367204
fonte

Você já pensou em usar dois (ou mais) modelos seqüenciais e depois mesclá-los? Cada modelo possui entradas que melhor correspondem aos dados conforme são fornecidos (em vez de esmagá-los como uma linguiça.) Os alvos são os mesmos, mas você cria dois conjuntos de dados de treinamento, cada um é alimentado independentemente durante o ajuste. Logo após a mesclagem, chega a sua camada final de saída, para que a camada final tome decisões sobre qual modelo funciona melhor para amostras específicas. De keras.io: keras.io/getting-started/sequential-model-guide

— photox

É mesmo o que eu procurava. Obrigado por contribuir.

— user1367204

Eu tentei isso e o valor_loss do conjunto (modelo_1, modelo_2) foi maior que o valor_loss do modelo_1 e maior que o valor_loss do modelo_2.

— user1367204

você realmente tentou isso e determinou que esse problema ocorre de fato? que testes você fez para verificar este ponto? quais foram os resultados?

— Hugh Perkins

Respostas:

Você pode codificar as variáveis categóricas com um método diferente do one-hot. Codificadores binários ou de hash podem ser apropriados para este caso. Hashing em particular é bom porque você codifica todas as categorias em uma única representação por vetor de recurso, portanto, ninguém domina o outro. Você também pode especificar o tamanho da representação final, para que todas as variáveis categóricas possam ser divididas em 10 recursos e acabar com 20 recursos numéricos (meio contínuo, meio categórico).

Ambos são implementados em https://github.com/scikit-learn-contrib/categorical-encoding ou bastante simples de implementar.

— Will McGinnis
fonte

Você pode usar a incorporação para transformar seu grande número de variáveis categóricas em um único vetor. Esse vetor compactado será uma representação distribuída dos recursos categóricos. As entradas categóricas serão transformadas em um vetor relativamente pequeno de comprimento N com N números reais que de alguma forma representam N recursos latentes que descrevem todas as entradas.

Considere o grande número de palavras no dicionário inglês. Se esse número for N, poderíamos representar cada palavra como um vetor de comprimento N. com um código quente. No entanto, a palavra para vec é capaz de capturar praticamente todas essas informações em um vetor de comprimento entre 200 e 300.

— COOLBEANS
fonte