Ciência de dados

Quando digo "documento", tenho em mente páginas da web como artigos da Wikipedia e notícias. Prefiro respostas que ofereçam métricas de distância lexical de baunilha ou métricas de distância semântica de última geração, com maior preferência por essa última.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Do meu limitado interesse pela ciência de dados usando R, percebi que limpar dados ruins é uma parte muito importante da preparação de dados para análise. Existem práticas recomendadas ou processos para limpar dados antes de processá-los? Em caso afirmativo, existem ferramentas automatizadas ou semi-automatizadas que implementam algumas dessas práticas …

34 r  data-cleaning 

Como você pode programar na biblioteca keras (ou tensorflow) para particionar o treinamento em várias GPUs? Digamos que você esteja em uma instância do Amazon ec2 com 8 GPUs e que gostaria de usá-los para treinar mais rapidamente, mas seu código é apenas para uma única CPU ou GPU.

33 python  deep-learning  tensorflow  keras  gpu 

No momento, estou tentando abrir um arquivo com pandas e python para fins de aprendizado de máquina. Seria ideal para todos eles em um DataFrame. Agora, o arquivo tem 18 GB de largura e minha RAM tem 32 GB, mas continuo recebendo erros de memória. De sua experiência é possível? …

33 python  bigdata  pandas  anaconda 

Eu li sobre o NCE (uma forma de amostragem de candidatos) dessas duas fontes: Gravação de Tensorflow Papel original Alguém pode me ajudar com o seguinte: Uma explicação simples de como o NCE funciona (achei difícil analisar e entender o que foi dito acima, então seria ótimo algo intuitivo que …

32 deep-learning  tensorflow  word-embeddings  sampling  loss-function 

Com o Hadoop 2.0 e o YARN, o Hadoop não está mais vinculado apenas às soluções de redução de mapa. Com esse avanço, quais são os casos de uso do Apache Spark vs Hadoop, considerando que ambos estão no topo do HDFS? Eu li a documentação de introdução do Spark, …

30 apache-hadoop  distributed  knowledge-base 

Então, recentemente, há um artigo sobre Normalização de Camadas . Há também uma implementação no Keras. Mas lembro-me de que existem artigos intitulados Normalização de Lote Recorrente (Cooijmans, 2016) e Redes Neurais Recorrentes Normalizadas em Lote (Laurent, 2015). Qual é a diferença entre esses três? Existe esta seção de trabalho …

30 deep-learning  rnn  normalization  batch-normalization 

Eu estou trabalhando em pesquisa, onde necessidade de uma classificar de WINNER três event = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Meu modelo atual é: …

30 python  neural-network  classification  clustering  keras 

Eu tenho um problema de grande volume de dados com um grande conjunto de dados (por exemplo, 50 milhões de linhas e 200 colunas). O conjunto de dados consiste em cerca de 100 colunas numéricas e 100 colunas categóricas e uma coluna de resposta que representa um problema de classe …

30 machine-learning  classification  deep-learning 

Parece-me que a função pode ser facilmente expressa pela função e, portanto, a função parece ser supérflua para mim. No entanto, eu sou novo no aprendizado por reforço, então acho que entendi algo errado.VVVQQQVVV Definições O aprendizado de Q e V está no contexto dos processos de decisão de Markov …

30 machine-learning  reinforcement-learning 

Por que usar o softmax em oposição à normalização padrão? Na área de comentários da resposta principal desta pergunta, @Kilian Batzner levantou duas perguntas que também me confundem bastante. Parece que ninguém dá uma explicação, exceto os benefícios numéricos. Eu recebo os motivos para usar a Perda entre entropia, mas …

30 machine-learning  deep-learning 

Nas tarefas de aprendizado de máquina, é comum embaralhar e normalizar dados. O objetivo da normalização é claro (por ter o mesmo intervalo de valores de recursos). Mas, depois de muito esforço, não encontrei nenhuma razão valiosa para embaralhar dados. Eu li este post aqui discutindo quando precisamos embaralhar dados, …

30 machine-learning  neural-network  deep-learning 

Estou tentando converter uma lista de listas que se parece com o seguinte em um Dataframe do Pandas [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees …

30 pandas 

Estou tentando treinar um modelo de aumento de gradiente com mais de 50 mil exemplos com 100 recursos numéricos. XGBClassifierlida com 500 árvores em 43 segundos na minha máquina, enquanto GradientBoostingClassifierlida com apenas 10 árvores (!) em 1 minuto e 2 segundos :( Não me preocupei em tentar cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Eu tenho um problema de classificação com aproximadamente 1000 amostras positivas e 10.000 amostras negativas no conjunto de treinamento. Portanto, esse conjunto de dados é bastante desequilibrado. A floresta aleatória simples está apenas tentando marcar todas as amostras de teste como uma classe majoritária. Algumas boas respostas sobre subamostragem e …

29 machine-learning  classification  dataset  unbalanced-classes