Ciência de dados

Em problemas de classificação binária, parece que o escore F1 é frequentemente usado como uma medida de desempenho. Até onde eu entendi, a idéia é encontrar a melhor escolha entre precisão e recall. A fórmula para a pontuação F1 é simétrica em precisão e recuperação. No entanto, (e é isso …

7 classification  binary  scoring 

Quais métodos existem para o cálculo da distância em cluster? como Manhattan, Euclidiana, etc.? Além disso, não sei quando devo usá-los. Eu sempre uso a distância euclidiana.

7 clustering  distance 

Eu tenho um conjunto de dados do mundo real de tomadores de crédito (50.000 registros). O conjunto contém categorias como Casado, Solteiro, Divorciado, etc., além de dados contínuos, como Renda, Idade, etc. Alguns registros estão incompletos ou contêm discrepâncias. A variável dependente é Padrão / Bom (0,1). Estamos tentando treinar …

7 machine-learning  neural-network  data-cleaning  forecast 

Eu sou um novato quando se trata de aprendizado de máquina. Estou tentando obter experiência prática analisando diferentes algoritmos de aprendizado supervisionado usando a biblioteca scikit-learn de python. Estou usando o conjunto de dados sentiment140 de 1,6 milhão de tweets para análise de sentimentos usando vários desses algoritmos. Não sei …

7 machine-learning  nlp  sentiment-analysis 

Um artigo recente de He et al. ( Deep Residual Learning for Image Recognition , Microsoft Research, 2015) afirma que eles usam até 4096 camadas (não neurônios!). Estou tentando entender o papel, mas tropeço na palavra "residual". Alguém poderia me dar uma explicação / definição o que significa residual neste …

7 machine-learning  neural-network 

Seria possível para um amador que está interessado em obter alguma experiência "prática" ao projetar e treinar redes neurais profundas, usar um laptop comum para esse fim (sem GPU) ou é impossível obter bons resultados em tempo razoável sem um computador / cluster / GPU poderoso? Para ser mais específico, …

7 machine-learning  deep-learning 

Recentemente, pesquisadores do Google DeepMind publicaram um artigo , onde descreviam um sistema de jogo Go que superava os melhores programas de computador atuais e o campeão europeu humano. Dei uma rápida olhada nesse artigo, e parece que ele está usando muitas idéias interessantes de artigos anteriores. O que eles …

7 reinforcement-learning 

Estou tentando descobrir se estou interpretando corretamente uma árvore de decisão encontrada online. A variável dependente dessa árvore de decisão é a Classificação de crédito, que possui duas classes, Ruim ou Bom. A raiz desta árvore contém todas as 2464 observações neste conjunto de dados. O atributo mais influente para …

7 predictive-modeling  decision-trees 

Há algum tempo, procuro exemplos de como eu poderia encontrar os pontos nos quais uma função atinge o mínimo usando uma abordagem de algoritmo genético em Python. Eu olhei para a documentação do DEAP, mas os exemplos eram muito difíceis de seguir. Por exemplo: def function(x,y): return x*y+3*x-x**2 Eu estou …

7 python  optimization  genetic-algorithms 

Entendi que os SVMs são classificadores lineares binários (sem o truque do kernel). Eles possuem dados de treinamento onde é um vetor e é a classe. Por serem binários, classificadores lineares, a tarefa é encontrar um hiperplano que separa os pontos de dados com o rótulo dos pontos de dados …

7 machine-learning  svm 

Estou usando LogisticRegressionWithLBFGSpara treinar um classificador de várias classes. Existe uma maneira de obter a probabilidade de todas as classes (não apenas a principal classe candidata) quando eu testar o modelo em novas amostras não vistas? PS: Não sou necessariamente obrigado a usar o classificador LBFGS, mas gostaria de usar …

7 classification  apache-spark  multiclass-classification 

Estou usando o Spark (1.5.1) de um notebook IPython em um macbook pro. Após a instalação de ignição e Anaconda, eu começo IPython de um terminal executando: IPYTHON_OPTS="notebook" pyspark. Isso abre uma página da Web listando todos os meus notebooks IPython. Eu posso selecionar um deles, abrindo-o em uma segunda …

7 apache-spark  pyspark  ipython  anaconda 

Estive no curso de Standford / Coursera Machine Learning ; e está indo muito bem. Estou realmente mais interessado na compreensão do tópico do que em obter a nota do curso e, como tal, estou tentando escrever todo o código em uma linguagem de programação em que sou mais fluente …

7 machine-learning  neural-network 

Como usamos uma codificação quente se o número de valores que uma variável categórica pode receber é grande? No meu caso, são 56 valores. Portanto, conforme o método usual, eu teria que adicionar 56 colunas (56 recursos binários) no conjunto de dados de treinamento, o que aumentará imensamente a complexidade …

7 machine-learning  data-mining  classification  dataset  categorical-data 

Até recentemente, eu pensava que "rotular" e "classificação" são sinônimos. Mas quando iniciei outra pergunta sobre terminologia em visão computacional , pensei: existe uma diferença entre "rotular" e "classificação"? Eu pensei que a "classe" é o conceito que você deseja detectar e "rotular" é o que você atribui aos dados. …

7 classification  terminology