Ciência de dados

Especificamente, o que estou procurando são ferramentas com alguma funcionalidade específica da engenharia de recursos. Eu gostaria de poder facilmente suavizar, visualizar, preencher lacunas, etc. Algo semelhante ao MS Excel, mas que tem R como idioma subjacente em vez de VB.

29 feature-selection  feature-extraction  feature-construction 

Eu tenho um grande conjunto de dados (cerca de 8 GB). Eu gostaria de usar o aprendizado de máquina para analisá-lo. Então, acho que devo usar SVD e PCA para reduzir a dimensionalidade dos dados para obter eficiência. No entanto, MATLAB e Octave não podem carregar um conjunto de dados …

29 bigdata  data-mining  dimensionality-reduction 

Esta questão se resume a "como as camadas de convolução funcionam exatamente . Suponha que eu tenha uma imagem escala de cinza. Então a imagem tem um canal. Na primeira camada, aplico uma convolução com filtros e preenchimento . Então eu tenho outra camada de convolução com convolutions e filtros …

29 neural-network  convnet 

No contexto do Machine Learning , vi o termo Ground Truth usado muito. Pesquisei bastante e encontrei a seguinte definição na Wikipedia : No aprendizado de máquina, o termo "verdade fundamental" refere-se à precisão da classificação do conjunto de treinamento para técnicas de aprendizado supervisionado. Isso é usado em modelos …

29 machine-learning  neural-network  deep-learning 

Vi discussões sobre a sobrecarga de uma GPU e, para redes 'pequenas', pode ser mais rápido treinar em uma CPU (ou rede de CPUs) do que em uma GPU. O que se entende por 'pequeno'? Por exemplo, um MLP de camada única com 100 unidades ocultas seria 'pequeno'? Nossa definição …

29 neural-network  deep-learning  gpu 

Quais são os principais benefícios do armazenamento de dados no HDF? E quais são as principais tarefas de ciência de dados em que o HDF é realmente adequado e útil?

28 data-formats  hierarchical-data-format 

Então, estou começando a aprender como uma rede neural pode operar para reconhecer padrões e categorizar entradas, e vi como uma rede neural artificial pode analisar dados de imagem e categorizar as imagens ( demo com convnetjs ), e a chave é reduzir a amostra da imagem e cada pixel …

28 neural-network 

Quando alguém usaria Random Forestmais SVMe vice-versa? Entendo que a cross-validationcomparação de modelos é um aspecto importante da escolha de um modelo, mas aqui eu gostaria de aprender mais sobre regras práticas e heurísticas dos dois métodos. Alguém pode, por favor, explicar as sutilezas, pontos fortes e fracos dos classificadores, …

28 machine-learning  classification  random-forest  svm 

Note que estou fazendo tudo em R. O problema é o seguinte: Basicamente, eu tenho uma lista de currículos (CVs). Alguns candidatos terão experiência profissional antes e outros não. O objetivo aqui é: com base no texto em seus currículos, quero classificá-los em diferentes setores de trabalho. Sou particular naqueles …

28 machine-learning  classification  nlp  text-mining 

Portanto, não consegui encontrar nenhuma literatura sobre esse assunto, mas parece que vale a pena pensar em algo: Quais são as melhores práticas no treinamento e otimização de modelos se novas observações estiverem disponíveis? Existe alguma maneira de determinar o período / frequência de re-treinamento de um modelo antes que …

28 machine-learning  predictive-modeling  optimization  training 

Estou seguindo este exemplo no site scikit-learn para executar uma classificação de saída múltipla com um modelo de floresta aleatória. from sklearn.datasets import make_classification from sklearn.multioutput import MultiOutputClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.utils import shuffle import numpy as np X, y1 = make_classification(n_samples=5, n_features=5, n_informative=2, n_classes=2, random_state=1) y2 = …

28 scikit-learn  random-forest  multilabel-classification 

Percebi que termos como hiperparâmetro do modelo e parâmetro do modelo foram usados ​​alternadamente na Web, sem esclarecimentos prévios. Eu acho que isso está incorreto e precisa de explicação. Considere um modelo de aprendizado de máquina, um classificador ou reconhecedor de imagens baseado em SVM / NN / NB, apenas …

28 machine-learning  parameter  hyperparameter  language-model 

A semelhança de Jaccard e a cosseno são duas medidas muito comuns ao comparar semelhanças de itens. No entanto, não sou muito claro em que situação qual deve ser preferível a outra. Alguém pode ajudar a esclarecer as diferenças dessas duas medidas (a diferença de conceito ou princípio, não a …

27 similarity 

O XGBoost tem feito um ótimo trabalho quando se trata de lidar com variáveis ​​dependentes categóricas e contínuas. Mas, como seleciono os parâmetros otimizados para um problema no XGBoost? Foi assim que apliquei os parâmetros para um problema recente do Kaggle: param <- list( objective = "reg:linear", booster = "gbtree", …

27 r  python  xgboost 

Eu tenho um pouco de conhecimento autodidata trabalhando com algoritmos de Machine Learning (o material básico do tipo Floresta Aleatória e Regressão Linear). Decidi ramificar-me e começar a aprender RNN's com Keras. Ao analisar a maioria dos exemplos, que geralmente envolvem previsões de ações, não consegui encontrar nenhum exemplo básico …

27 machine-learning  neural-network  keras