Ciência de dados

Assume-se que temos um conjunto de elementos de E e uma similaridade ( não distância ) função SIM (EI, ej) entre dois elementos ei, ej ∈ E . Como poderíamos (eficientemente) agrupar os elementos de E usando sim ? k significa, por exemplo, requer um determinado k , o Canopy …

17 clustering  algorithms  similarity 

A divisão de validação na função de ajuste do modelo sequencial Keras está documentada da seguinte maneira em https://keras.io/models/sequential/ : validation_split: flutua entre 0 e 1. Fração dos dados de treinamento a serem usados ​​como dados de validação. O modelo separará essa fração dos dados de treinamento, não treinará nele …

17 keras  data  cross-validation 

Considere uma rede neural: Para um determinado conjunto de dados, dividimos em conjunto de treinamento, validação e teste. Suponha que façamos isso na proporção clássica 60:20:20 e evitemos o overfitting validando a rede verificando-a no conjunto de validação. Então, qual é a necessidade de testá-lo no conjunto de testes para …

17 machine-learning  neural-network  cross-validation 

Pergunto-me, se há alguma heurística no número de características versus número de observações. Obviamente, se um número de recursos for igual ao número de observações, o modelo será super ajustado. Usando métodos esparsos (LASSO, rede elástica), podemos remover vários recursos para reduzir o modelo. Minha pergunta é (teoricamente): antes de …

17 feature-selection  model-selection 

Estou tentando calcular a quantidade de memória necessária para uma GPU treinar meu modelo com base nas notas de Andrej Karphaty: http://cs231n.github.io/convolutional-networks/#computational-considerations Minha rede possui 532.752 ativações e 19.072.984 parâmetros (pesos e vieses). Esses são todos os valores flutuantes de 32 bits; portanto, cada um deles ocupa 4 bytes de …

17 deep-learning  tensorflow 

Estou tendo alguma dificuldade em derivar a propagação com a ReLU e fiz algum trabalho, mas não tenho certeza se estou no caminho certo. Função de custo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2em queyyyé o valor real, e y é um valor previsto. Suponha também quex> 0 sempre.y^y^\hat yxxx ReLU de 1 camada, em …

17 neural-network  backpropagation 

Estou trabalhando no reconhecimento de fala com o Tensorflow e planejo treinar o LSTM NN com um conjunto de dados massivo de ondas. Devido aos ganhos de desempenho, pretendo usar os tfrecords. Existem vários exemplos na internet (Inception for ex.) Em que os arquivos tfrecords são divididos em shards. Minha …

17 python  tensorflow 

Eu tenho características esparsas que são preditivas, também tenho algumas características densas que também são preditivas. Preciso combinar esses recursos para melhorar o desempenho geral do classificador. Agora, quando tento combiná-los, os recursos densos tendem a dominar mais sobre os recursos esparsos, oferecendo, portanto, apenas 1% de melhoria na AUC …

17 machine-learning  classification  predictive-modeling  scikit-learn  supervised-learning 

Estou fazendo um projeto sobre o problema de identificação do autor. Eu tinha aplicado a normalização tf-idf para treinar dados e, em seguida, treinei um svm nesses dados. Agora, ao usar o classificador, devo normalizar os dados de teste também. Eu sinto que o objetivo básico da normalização é fazer …

17 machine-learning  neural-network  deep-learning 

Qual é a diferença entre val_losse lossdurante o treinamento em Keras? Por exemplo Epoch 1/20 1000/1000 [==============================] - 1s - loss: 0.1760, val_loss: 0.2032 Em alguns sites, li que na validação o abandono não estava funcionando.

17 machine-learning  deep-learning  keras 

Existe um pacote abrangente de código aberto (de preferência em python ou R) que pode ser usado para detecção de anomalias em séries temporais? Existe um pacote SVM de uma classe no scikit-learn, mas não é para dados de séries temporais. Estou procurando pacotes mais sofisticados que, por exemplo, usem …

17 python  time-series  anomaly-detection 

Alguém pode postar um exemplo direto de Keras usando um retorno de chamada para salvar um modelo após cada época? Posso encontrar exemplos de economia de pesos, mas quero poder salvar um modelo completamente funcional após cada época de treinamento.

17 python  keras 

Eu tenho um conjunto de dados com 3 classes com os seguintes itens: Classe 1: 900 elementos Classe 2: 15000 elementos Classe 3: 800 elementos Preciso prever as classes 1 e 3, que sinalizam desvios importantes da norma. A classe 2 é o caso "normal" padrão com o qual não …

17 neural-network  pytorch 

Estou tentando fazer esses pacotes funcionarem há algum tempo, mas sem sucesso. Basicamente, o erro é: GraphViz's Executables not found EDIT : eu não tinha postado um terminal logcom o erro originalmente. Estou usando Ubuntuagora para não conseguir reproduzir exatamente o mesmo erro que cometi no passado (um ano atrás, …

17 python 

Estou construindo um fluxo de trabalho para criar modelos de aprendizado de máquina (no meu caso, usando Python pandase sklearnpacotes) a partir de dados extraídos de um banco de dados muito grande (aqui, Vertica por meio de SQL e pyodbc), e uma etapa crítica nesse processo envolve a imputação de …

16 machine-learning  python  pandas  scikit-learn