Ciência de dados

Gostaria de saber como combinar endereços postais quando o formato deles for diferente ou quando um deles estiver incorreto. Até agora, encontrei soluções diferentes, mas acho que elas são bastante antigas e não muito eficientes. Tenho certeza de que existem métodos melhores; portanto, se você tiver referências para ler, tenho …

14 text-mining  data-cleaning 

Não sou especialista no assunto e minha pergunta é provavelmente muito ingênua. Ele decorre de um ensaio para entender os poderes e as limitações do aprendizado por reforço, conforme usado no programa AlphaGo. O programa AlphaGo foi construído usando, entre outras coisas (exploração de árvores em Monte-Carlo, etc.), redes neurais …

14 reinforcement-learning 

Estou trabalhando em um problema de classificação. Eu tenho um conjunto de dados que contém um número igual de variáveis ​​categóricas e variáveis ​​contínuas. Como vou saber qual técnica usar? entre uma árvore de decisão e uma regressão logística? É certo assumir que a regressão logística será mais adequada para …

14 classification  logistic-regression  decision-trees 

Eu tenho um conjunto de dados de usuários que compram produtos de um site. Os atributos que tenho são: ID do usuário, região (estado) do usuário, ID das categorias do produto, ID das palavras-chave do produto, ID das palavras-chave do site e valor das vendas gastas do produto. O objetivo …

14 machine-learning  data-mining  classification  clustering 

Eu estou olhando para fazer k-significa agrupar em um conjunto de 10 pontos dimensionais. O problema: há 10 ^ 10 pontos . Estou procurando apenas o centro e o tamanho dos maiores aglomerados (digamos 10 a 100); Não me importo com o cluster em que cada ponto termina. Usar k-means …

14 clustering  k-means 

Existem bibliotecas de aprendizado de máquina para Ruby que são relativamente completas (incluindo uma grande variedade de algoritmos para aprendizado supervisionado e não supervisionado), testadas com robustez e bem documentadas? Eu amo o scikit-learn do Python por sua documentação incrível, mas um cliente prefere escrever o código em Ruby, pois …

14 machine-learning 

Eu tenho um conjunto de dados com as seguintes especificações: Conjunto de dados de treinamento com 193.176 amostras com 2.821 positivos Conjunto de dados de teste com 82.887 amostras com 673 positivos Existem 10 recursos. Eu quero realizar uma classificação binária (0 ou 1). O problema que estou enfrentando é …

14 machine-learning  python  classification  logistic-regression 

Eu tenho um conjunto de dados binários altamente tendencioso - tenho 1000x mais exemplos da classe negativa do que a classe positiva. Gostaria de treinar um conjunto de árvores (como árvores aleatórias extras ou uma floresta aleatória) nesses dados, mas é difícil criar conjuntos de dados de treinamento que contenham …

14 machine-learning  feature-selection  unbalanced-classes 

Estou tentando entender como todos os componentes de "big data" funcionam juntos em um caso de uso do mundo real, por exemplo, hadoop, monogodb / nosql, storm, kafka, ... Eu sei que essa é uma ampla variedade de ferramentas usadas para tipos diferentes, mas gostaria de saber mais sobre a …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Estou tentando entender este artigo e não tenho certeza do que é a amostragem bi-linear. Alguém pode explicar isso em alto nível? https://arxiv.org/abs/1606.00915

14 deep-learning  convnet  cnn  convolution 

Para redes neurais, temos o teorema da aproximação universal, que afirma que as redes neurais podem aproximar qualquer função contínua em um subconjunto compacto de .RnRnR^n Existe um resultado semelhante para árvores com gradiente? Parece razoável, pois você pode continuar adicionando mais ramos, mas não consigo encontrar nenhuma discussão formal …

14 decision-trees 

Estou treinando uma rede neural convolucional para classificar imagens em condições de neblina (3 aulas). No entanto, para cada uma das cerca de 150.000 imagens, também tenho quatro variáveis ​​meteorológicas disponíveis que podem ajudar a prever as classes das imagens. Fiquei imaginando como poderia adicionar as variáveis ​​meteorológicas (por exemplo, …

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

Eu tenho duas perguntas relacionadas às árvores de decisão: Se temos um atributo contínuo, como escolhemos o valor de divisão? Exemplo: Idade = (20,29,50,40 ....) Imagine que temos um atributo contínuo que têm valores em . Como posso escrever um algoritmo que encontre o ponto de divisão , para que, …

14 classification  data  decision-trees 

Se eu olhar para uma das muitas fontes para as aulas da Imagenet na Internet, não consigo encontrar uma única classe relacionada aos seres humanos (e não, o harvestman não é alguém que colhe, mas é o que eu conhecia como um pai de pernas longas, uma espécie de aranha …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Sou engenheiro de Ciência da Computação, sem formação em estatística ou matemática avançada. Estou estudando o livro Python Machine Learning de Raschka e Mirjalili, mas quando tentei entender a matemática do Machine Learning, não consegui entender o grande livro que um amigo me sugere Os elementos do aprendizado estatístico . …

14 machine-learning  statistics  reference-request  math