Estatísticas e Big Data feature-construction

6

Maneira básica de colapsar variáveis categóricas com muitos níveis?

Quais técnicas estão disponíveis para recolher (ou agrupar) muitas categorias para algumas, com o objetivo de usá-las como uma entrada (preditora) em um modelo estatístico? Considere uma variável como estudante universitário (disciplina escolhida por um estudante de graduação). É desordenado e categórico, mas pode potencialmente ter dezenas de níveis distintos. …

58 regression categorical-data dimensionality-reduction feature-construction many-categories

2

Os codificadores automáticos não podem aprender recursos significativos

Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu tentei RBM e é o mesmo. O conjunto de …

24 machine-learning neural-networks feature-construction rbm autoencoders

7

como representar a geografia ou o CEP no modelo de aprendizado de máquina ou no sistema de recomendação?

Estou construindo um modelo e acho que a localização geográfica provavelmente será muito boa em prever minha variável de destino. Eu tenho o CEP de cada um dos meus usuários. No entanto, não tenho muita certeza da melhor maneira de incluir o CEP como um recurso preditivo no meu modelo. …

24 machine-learning feature-construction many-categories

2

Como inicializar os elementos da matriz do filtro?

Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem. Estou tentando entender os detalhes da implementação …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

2

Quando devemos discretizar / classificar variáveis / recursos independentes contínuos e quando não devemos?

Quando devemos discretizar / bin variáveis / recursos independentes e quando não devemos? Minhas tentativas de responder à pergunta: Em geral, não devemos fazer bin, porque o binning perderá informações. Na verdade, o binning está aumentando o grau de liberdade do modelo; portanto, é possível causar um ajuste excessivo após …

21 machine-learning continuous-data feature-construction binning

5

Por que a engenharia de recursos funciona?

Recentemente, aprendi que uma das maneiras de encontrar melhores soluções para problemas de ML é através da criação de recursos. Pode-se fazer isso, por exemplo, somando dois recursos. Por exemplo, possuímos dois recursos "ataque" e "defesa" de algum tipo de herói. Em seguida, criamos um recurso adicional chamado "total", que …

20 machine-learning feature-construction

2

Tutoriais para engenharia de recursos

Como é sabido a todos, a engenharia de recursos é extremamente importante para o aprendizado de máquina, no entanto, encontrei poucos materiais associados a essa área. Participei de várias competições no Kaggle e acredito que bons recursos podem até ser mais importantes do que um bom classificador em alguns casos. …

19 machine-learning references feature-construction

1

Construção ideal do recurso do dia em redes neurais

Trabalhando no problema de regressão, comecei a pensar na representação do recurso "dia da semana". Gostaria de saber qual abordagem teria melhor desempenho: uma característica; valor 1/7 para segunda-feira; 2/7 para terça-feira ... 7 recursos: (1, 0, 0, 0, 0, 0, 0) para segunda-feira; (0, 1, 0, 0, 0, 0, …

18 machine-learning neural-networks feature-construction

1

O que é "espaço de destaque"?

Qual é a definição de "espaço de recurso"? Por exemplo, ao ler sobre SVMs, li sobre "mapeamento para destacar o espaço". Ao ler sobre o CART, li sobre "particionamento para destacar o espaço". Entendo o que está acontecendo, especialmente para a CART, mas acho que há alguma definição que eu …

18 machine-learning svm feature-selection cart feature-construction

2

Misturando dados contínuos e binários com SVM linear?

Então, eu tenho brincado com SVMs e me pergunto se isso é uma boa coisa a fazer: Eu tenho um conjunto de recursos contínuos (0 a 1) e um conjunto de recursos categóricos que converti em variáveis fictícias. Nesse caso em particular, codifico a data da medição em uma variável …

15 categorical-data svm feature-selection linear-model feature-construction

5

É melhor fazer uma análise exploratória dos dados apenas no conjunto de dados de treinamento?

Estou fazendo análise exploratória de dados (EDA) em um conjunto de dados. Depois, selecionarei alguns recursos para prever uma variável dependente. A pergunta é: Devo fazer a EDA apenas no meu conjunto de dados de treinamento? Ou devo juntar os conjuntos de dados de treinamento e teste juntos, fazer a …

15 dataset feature-selection feature-construction eda

2

Discrepância média máxima (distribuição à distância)

Eu tenho dois conjuntos de dados (dados de origem e destino) que seguem a distribuição diferente. Estou usando o MMD - que é uma distribuição de distância não paramétrica - para calcular a distribuição marginal entre os dados de origem e de destino. dados de origem, Xs dados de destino, …

15 machine-learning distributions distance feature-construction domain-adaptation

1

Construção e normalização de recursos no aprendizado de máquina

Digamos que eu queira criar um Classificador Logístico para um filme M. Meus recursos seriam algo como idade da pessoa, gênero, ocupação, local. Portanto, o conjunto de treinamento seria algo como: Idade Sexo Ocupação Localização Gosto (1) / Não gosto (0) 23 M Software EUA 1 24 M Médico Reino …

13 machine-learning feature-construction

1

Extração automática de palavras-chave: usando semelhanças de cosseno como recursos

Eu tenho uma matriz de termos de documentos e agora gostaria de extrair palavras-chave para cada documento com um método de aprendizado supervisionado (SVM, Naive Bayes, ...). Neste modelo, eu já uso Tf-idf, tag Pos, ...MMM Mas agora estou me perguntando sobre os próximos. Eu tenho uma matriz com as …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

2

Engenharia de recurso independente de domínio que mantém significado semântico?

A engenharia de recursos geralmente é um componente importante do aprendizado de máquina (foi muito utilizado para ganhar a Copa KDD em 2010 ). No entanto, acho que a maioria das técnicas de engenharia apresenta destruir qualquer significado intuitivo dos recursos subjacentes ou são muito específicos para um domínio específico …

12 predictive-models feature-selection feature-construction

Perguntas com a marcação «feature-construction»