Ciência de dados

O t-SNE, como em [1], trabalha reduzindo progressivamente a divergência de Kullback-Leibler (KL), até que uma determinada condição seja atendida. Os criadores do t-SNE sugerem usar a divergência de KL como critério de desempenho para as visualizações: você pode comparar as divergências de Kullback-Leibler relatadas pelo t-SNE. É perfeitamente adequado …

11 machine-learning  python 

Quero plotar os bytes de uma imagem de disco para entender um padrão neles. Isso é principalmente uma tarefa acadêmica, pois tenho quase certeza de que esse padrão foi criado por um programa de teste de disco, mas eu gostaria de fazer a engenharia reversa de qualquer maneira. Eu já …

11 r  visualization 

Na minha universidade, temos um cluster de computação HPC. Eu uso o cluster para treinar classificadores e assim por diante. Portanto, geralmente, para enviar um trabalho para o cluster (por exemplo, script python scikit-learn), preciso escrever um script Bash que contenha (entre outros) um comando como qsub script.py. No entanto, …

11 bigdata  data-mining 

Existem muitas fontes que fornecem os dados históricos de estoque, mas eles fornecem apenas os campos OHLC, juntamente com o volume e o fechamento ajustado. Também encontrei algumas fontes que fornecem conjuntos de dados de valor de mercado, mas estão restritos a ações nos EUA. O Yahoo Finance fornece esses …

11 dataset 

A definição usual de regressão (tanto quanto sei) é prever uma variável de saída contínua de um determinado conjunto de variáveis ​​de entrada . A regressão logística é um algoritmo de classificação binária, portanto produz uma saída categórica. É realmente um algoritmo de regressão? Se sim, por quê?

11 algorithms  logistic-regression 

Estou curioso para consultar a linguagem natural. Stanford possui o que parece ser um forte conjunto de software para processamento de linguagem natural . Também vi a biblioteca Apache OpenNLP e a arquitetura geral para engenharia de texto . Há uma quantidade incrível de usos para o processamento de linguagem …

11 nlp 

Eu gostaria de explorar a 'ciência dos dados'. O termo me parece um pouco vago, mas espero que exija: aprendizado de máquina (em vez de estatística tradicional); um conjunto de dados grande o suficiente para executar análises em clusters. Quais são alguns bons conjuntos de dados e problemas, acessíveis a …

11 statistics  education  knowledge-base  definitions 

Alguém pode sugerir qual é o estágio correto para remover as variáveis ​​correlacionadas antes da engenharia de recursos ou depois da engenharia de recursos?

11 machine-learning  feature-selection  data-science-model 

Na maioria dos estimadores no scikit-learn, há um n_jobsparâmetro em fit/ predictmethods para criar trabalhos paralelos usando joblib. Notei que configurá-lo para -1criar apenas 1 processo Python e maximizar os núcleos, fazendo com que o uso da CPU atinja 2500% no topo. Isso é bem diferente de configurá-lo para um …

11 python  scikit-learn 

Preciso encontrar a precisão de um conjunto de dados de treinamento aplicando o Algoritmo Aleatório de Floresta. Mas meu tipo de conjunto de dados é categórico e numérico. Quando tentei ajustar esses dados, recebo um erro. 'Input contém NaN, infinito ou um valor muito grande para dtype (' float32 ')'. …

11 python  data-mining  random-forest 

Eu sou muito novo no aprendizado profundo e estou particularmente interessado em saber o que são LSTM e BiLSTM e quando usá-los (principais áreas de aplicação). Por que o LSTM e o BILSTM são mais populares que o RNN? Podemos usar essas arquiteturas de aprendizado profundo em problemas não supervisionados?

11 machine-learning  deep-learning  rnn  lstm 

Estou tentando treinar um único perceptron (1000 unidades de entrada, 1 saída, sem camadas ocultas) em 64 pontos de dados gerados aleatoriamente. Estou usando o Pytorch usando o otimizador Adam: import torch from torch.autograd import Variable torch.manual_seed(545345) N, D_in, D_out = 64, 1000, 1 x = Variable(torch.randn(N, D_in)) y = …

11 perceptron  pytorch 

Estou um pouco confuso com a diferença entre os termos "Machine Learning" e "Deep Learning". Eu pesquisei no Google e li muitos artigos, mas ainda não está muito claro para mim. Uma definição conhecida de Machine Learning de Tom Mitchell é: Um programa de computador é dito para aprender com …

11 machine-learning  deep-learning 

precisão é a fração de instâncias recuperadas relevantes, enquanto recall (também conhecido como sensibilidade) é a fração de instâncias relevantes recuperadas. Eu sei o significado delas, mas não sei por que isso se chama recall ? Eu não sou falante nativo de inglês. Eu sei que recordar significa recordar, então …

11 performance  terminology 

No gráfico abaixo, eixo x => Tamanho do conjunto de dados eixo y => Pontuação da validação cruzada A linha vermelha é para dados de treinamento A linha verde é para testar dados Em um tutorial ao qual estou me referindo, o autor diz que o ponto em que a …

11 machine-learning  cross-validation