Ciência de dados

Eu tenho um grande conjunto de dados (2 milhões de entradas) de pessoas, mas muitas pessoas têm várias entradas no banco de dados com informações de identificação ligeiramente (ou significativamente) diferentes. Por exemplo, eu posso ter J. Doe e John Doe, ou eu posso ter John Doe com um endereço …

7 clustering  algorithms 

Dado um classificador binário, é sempre possível explicar por que ele classificou alguma entrada como uma classe positiva? E com isso quero dizer, se temos um grande conjunto de recursos, existe uma ferramenta que diz: 'Para esse resultado, esses são os recursos que foram os mais responsáveis ​​por rotulá-lo como …

7 machine-learning  classification  feature-extraction 

Os valores de estado do meu algoritmo Q-Learning continuam divergindo até o infinito, o que significa que meus pesos também estão divergindo. Eu uso uma rede neural para meu mapeamento de valores. Eu tentei: Recorte do "valor da ação recompensa + desconto * máximo" (máximo / min definido como 50 …

7 machine-learning  python  reinforcement-learning  q-learning 

Estou explorando opções para sistemas de recomendação otimizados para o setor de seguros, o que levaria em consideração i) explorações de produtos ii) características do usuário (segmento, idade, riqueza, etc.). Eu quero enfatizar isso a) não há classificações de produtos disponíveis, portanto a filtragem colaborativa não é uma opção b) …

7 machine-learning  python  r  recommender-system 

Recentemente, completei o exercício 3 do Machine Learning de Andrew Ng no Coursera usando Python . Ao concluir inicialmente as partes 1.4 a 1.4.1 do exercício, tive dificuldades para garantir que meu modelo treinado tenha a precisão que corresponde aos 94,9% esperados. Mesmo após a depuração e a garantia de …

7 machine-learning  python  logistic-regression  accuracy 

A maioria dos conjuntos de dados de código aberto está bem formatada, ou seja, cada mensagem de email é separada bem como o conjunto de dados da Enron. Mas, no mundo real, é altamente difícil separar uma mensagem de email principal de um segmento de emails. Por exemplo, considere a …

7 classification  scikit-learn  apache-spark  preprocessing  sentiment-analysis 

Como parte do projeto de análise de big data, estou trabalhando, Preciso executar o PCA em alguns dados, usando o sistema de computação em nuvem. No meu caso, estou usando o Amazon EMR para o trabalho e o Spark em particular. Deixando de lado a questão "Como executar o PCA …

7 data-mining  bigdata  apache-spark  pca  distributed 

No cluster baseado em gráfico, por que é preferível usar o kernel Gaussiano em vez da distância entre dois pontos como métrica de similaridade?

7 machine-learning  data-mining  clustering  metric 

A imagem mostra uma camada típica em algum lugar da rede feed forward: a(k)iai(k)a_i^{(k)} é o valor de ativação do neurônio na camada .ithithi^{th}kthkthk^{th} W(k)ijWij(k)W_{ij}^{(k)} é o peso que liga neurónio na camada para a neurónio na camada.ithithi^{th}kthkthk^{th}jthjthj^{th}(k+1)th(k+1)th(k+1)^{th} z(k+1)jzj(k+1)z_j^{(k+1)} é o valor da função de pré-ativação do neurônio na camada …

7 backpropagation  theory  linear-algebra 

Atualmente, estou estudando este artigo , no qual a CNN é aplicada para reconhecimento de fonemas usando representação visual de bancos de filtros de registros de mel e esquema de compartilhamento de peso limitado. A visualização dos bancos de filtros de log mel é uma maneira de representar e normalizar …

7 classification  keras  convnet  training  audio-recognition 

Estou um pouco confuso sobre o uso adequado da camada de incorporação no Keras para fins de seq2seq (eu gostaria de reconstruir o tutorial de tradução automática do TensorFlow se2seq no Keras). Minhas perguntas são as seguintes: Entendo que as camadas de incorporação transformam valores de palavras em uma frase …

7 deep-learning  tensorflow  keras  word-embeddings 

Eu tenho um conjunto de dados de séries temporais (frequência diária) representando as vendas de um produto a um cliente ao longo do tempo. As vendas são representadas da seguinte forma: [ 0 , 0 , 0 , 0 , 24 , 0 , 0 , 0 , 0 , …

7 time-series  forecast 

Recentemente, eu estava trabalhando em um projeto e achei minha taxa de erro de validação cruzada muito baixa, mas o teste definiu uma taxa de erro muito alta. Isso pode indicar que meu modelo está se ajustando demais. Por que minha validação cruzada não se superajustou enquanto meu conjunto de …

7 cross-validation  overfitting 

Primeiro de tudo, temos uma tarefa de classificação. Portanto, usamos a entropia cruzada softmax típica para classificar. A implementação atual da aprendizagem curricular é a seguinte. Primeiro treinamos nossa melhor versão da rede neural Na última época, obtemos todas as entropias cruzadas para todas as instâncias. Portanto, entropias cruzadas menores …

7 deep-learning 

Parece-me que o ReLU com vazamento deve ter um desempenho muito melhor, pois o ReLU padrão não pode usar metade de seu espaço (x <0, onde o gradiente é zero). Mas isso não acontece e, na prática, a maioria das pessoas usa ReLU padrão.

7 neural-network  gradient-descent