Ciência de dados

Entendo o que o Standard Scalar faz e o que o Normalizer faz, de acordo com a documentação do scikit: Normalizer , Standard Scaler . Eu sei quando o Scaler padrão é aplicado. Mas em que cenário o Normalizer é aplicado? Existem cenários em que um é preferido em relação …

12 python  scikit-learn  data-cleaning  normalization 

Acabei de ajustar uma curva logística a alguns dados falsos. Fiz os dados essencialmente uma função de etapa. data = -------------++++++++++++++ Mas quando olho para a curva ajustada, a inclinação é muito pequena. A função que melhor minimiza a função de custo, assumindo entropia cruzada, é a função de etapa. …

12 logistic-regression  scikit-learn 

Entendo cross_validate e como ele funciona, mas agora estou confuso sobre o que cross_val_score realmente faz. Alguém pode me dar um exemplo?

12 machine-learning  scikit-learn 

Alguém pode recomendar uma ferramenta para rotular rapidamente várias centenas de imagens como entrada para classificação? Eu tenho ~ 500 imagens microscópicas de células. Desejo atribuir categorias como 'íntegro', 'morto', 'inválido' manualmente para um conjunto de treinamento e salvá-las em um arquivo csv. basicamente o mesmo descrito nesta pergunta, exceto …

12 machine-learning  image-classification  training 

A pergunta a seguir exibida na imagem foi feita durante um dos exames recentemente. Não sei se entendi corretamente o princípio Navalha de Occam ou não. De acordo com as distribuições e limites de decisão dados na pergunta e seguindo o Navalha de Occam, o limite de decisão B em …

11 machine-learning  classification 

Estou prototipando um aplicativo e preciso de um modelo de linguagem para calcular a perplexidade em algumas frases geradas. Existe algum modelo de linguagem treinado em python que eu possa usar facilmente? Algo simples como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Como você otimizaria um pré-treinado neural network para aplicá-lo a um problema separado? Você adicionaria mais camadas ao modelo pré-treinado e o testaria em seu conjunto de dados? Por exemplo, se a tarefa fosse usar uma CNN para classificar grupos de papel de parede , tenho certeza de que não …

11 neural-network  deep-learning  classification  convnet 

Acabei de construir esta rede neural LSTM com Keras import numpy as np import pandas as pd from sklearn import preprocessing from keras.layers.core import Dense, Dropout, Activation from keras.activations import linear from keras.layers.recurrent import LSTM from keras.models import Sequential from matplotlib import pyplot #read and prepare data from datafile data_file_name …

11 machine-learning  python  keras  prediction  forecasting 

Acabei de concluir o curso de aprendizado de máquina para R em cognitiveclass.ai e comecei a experimentar com florestas aleatórias. Eu criei um modelo usando a biblioteca "randomForest" em R. O modelo é classificado por duas classes, boa e ruim. Sei que quando um modelo está super ajustado, ele tem …

11 r  random-forest  prediction  overfitting 

Estou trabalhando com Python, scikit-learn e keras. Tenho 3000 mil imagens de relógios de frente, como os seguintes: Watch_1 , Watch_2 , Watch_3 . Quero escrever um programa que receba como entrada uma foto de um relógio real que talvez seja tirada em condições menos ideais do que as fotos …

11 python  neural-network  keras 

Analisei muitas vezes um conjunto de dados no qual eu realmente não poderia fazer nenhum tipo de classificação. Para ver se consigo obter um classificador, geralmente utilizei as seguintes etapas: Gere plotagens de caixa de etiqueta com valores numéricos. Reduza a dimensionalidade para 2 ou 3 para ver se as …

11 machine-learning  classification  deep-learning  class-imbalance  bayes-error 

Estou executando uma rede neural de aprendizado profundo que foi treinada por uma GPU. Agora eu quero implantar isso em vários hosts para inferência. A questão é: quais são as condições para decidir se devo usar GPUs ou CPUs como inferência? Adicionando mais detalhes dos comentários abaixo. Eu sou novo …

11 deep-learning  gpu 

Atualmente, estou escrevendo um artigo sobre Big Data, que utiliza R fortemente para análise de dados. Por acaso tenho um GTX1070 no meu pc por motivos de jogos. Assim, achei que seria muito legal se eu pudesse usar isso para acelerar parte do processamento de algumas das coisas que meus …

11 r  gpu  parallel 

Dados de entrada: -> características da camiseta (cor, logotipo, etc)XXX -> margem de lucroYYY Treinei uma floresta aleatória nos e Y acima e obtive uma precisão razoável nos dados de teste. Então eu tenhoXXXYYY .P(Y|X)P(Y|X)P(Y|X) Agora, eu gostaria de encontrar isto é, distribuição de probabilidade dos recursos X , já …

11 machine-learning  random-forest  generative-models 

Trabalho com aprendizado de máquina e bioinformática há um tempo e hoje tive uma conversa com um colega sobre os principais problemas gerais da mineração de dados. Meu colega (que é especialista em aprendizado de máquina) disse que, na opinião dele, o aspecto prático mais importante do aprendizado de máquina …

11 machine-learning  data-mining  dataset  data-cleaning  data