Perguntas com a marcação «data-mining»

Quando uma inicialização aleatória de centróides é usada, diferentes execuções de médias K produzem diferentes SSEs totais. E é crucial no desempenho do algoritmo. Quais são algumas abordagens eficazes para resolver esse problema? Abordagens recentes são apreciadas.

17 data-mining  clustering  k-means 

Estou trabalhando para melhorar um classificador supervisionado existente, para classificar sequências {protein} como pertencentes a uma classe específica (precursores do hormônio neuropeptídeo) ou não. Existem cerca de 1.150 "positivos" conhecidos, num contexto de cerca de 13 milhões de seqüências de proteínas ("fundo desconhecido / pouco anotado") ou cerca de 100.000 …

16 machine-learning  data-mining  python  classification 

Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Eu gostaria de saber como exatamente a maioria das recomendações baseadas no usuário e no item diferem umas das outras. Define que Baseado no usuário : recomende itens encontrando usuários semelhantes. Isso geralmente é mais difícil de dimensionar devido à natureza dinâmica dos usuários. Baseado em itens: calcule a similaridade …

15 machine-learning  data-mining  algorithms  recommender-system 

Parece ter se tornado axiomático que um conjunto de alunos leve aos melhores resultados possíveis de modelos - e está se tornando muito mais raro, por exemplo, modelos únicos ganharem competições como o Kaggle. Existe uma explicação teórica para o porquê dos conjuntos serem tão efetivamente eficazes?

14 machine-learning  data-mining  predictive-modeling 

Eu tenho um conjunto de dados de usuários que compram produtos de um site. Os atributos que tenho são: ID do usuário, região (estado) do usuário, ID das categorias do produto, ID das palavras-chave do produto, ID das palavras-chave do site e valor das vendas gastas do produto. O objetivo …

14 machine-learning  data-mining  classification  clustering 

Tenho documentos de texto que contêm principalmente listas de itens. Cada item é um grupo de vários tokens de diferentes tipos: nome, sobrenome, data de nascimento, número de telefone, cidade, ocupação etc. Um token é um grupo de palavras. Os itens podem estar em várias linhas. Os itens de um …

13 data-mining  clustering  text-mining  time-series  correlation 

Estou trabalhando em um projeto de ciência de dados relacionado à mineração de relacionamento social e preciso armazenar dados em alguns bancos de dados de gráficos. Inicialmente, escolhi o Neo4j como banco de dados. Mas parece que o Neo4j não escala bem. A alternativa que descobri são Titan e oriebtDB. …

13 data-mining  graphs  databases  social-network-analysis 

Eu li muitos artigos de blogs sobre como diferentes tipos de indústrias estão usando o Big Data Analytic. Mas a maioria desses artigos não menciona Que tipo de dados essas empresas usaram. Qual foi o tamanho dos dados Que tipo de tecnologias de ferramentas eles usaram para processar os dados …

13 data-mining  bigdata  usecase 

Estou lendo uma apresentação e ela recomenda não usar a codificação deixar uma de fora, mas tudo bem com uma codificação quente. Eu pensei que ambos eram iguais. Alguém pode descrever quais são as diferenças entre eles?

13 machine-learning  data-mining  feature-selection  feature-extraction  feature-engineering 

Em quais casos é melhor usar uma árvore de decisão e outros casos um KNN? Por que usar um deles em certos casos? E o outro em diferentes casos? (Observando sua funcionalidade, não o algoritmo) Alguém tem algumas explicações ou referências sobre isso?

13 machine-learning  data-mining  decision-trees 

Se eu tiver uma lista muito longa de nomes de artigos, como obter um resumo desses artigos na Internet ou em qualquer banco de dados? Os nomes dos artigos são como "Avaliação da utilidade na mineração da Web para o domínio da saúde pública". Alguém conhece alguma API que possa …

13 data-mining  machine-learning 

Quero investigar o comportamento de estabelecimento de preços das companhias aéreas - especificamente como as empresas reagem aos preços dos concorrentes. Como eu diria, meu conhecimento sobre análises mais complexas é bastante limitado. Eu fiz principalmente todos os métodos básicos para reunir uma visão geral dos dados. Isso inclui gráficos …

12 data-mining  dataset  regression  correlation  visualization 

Tanto quanto eu sei o desenvolvimento de algoritmos para resolver o problema da Mineração de Padrão Frequente (FPM), o caminho das melhorias tem alguns pontos de verificação principais. Primeiramente, o algoritmo Apriori foi proposto em 1993 por Agrawal et al. , juntamente com a formalização do problema. O algoritmo conseguiu …

12 bigdata  data-mining  efficiency  state-of-the-art 

Estou prototipando um aplicativo e preciso de um modelo de linguagem para calcular a perplexidade em algumas frases geradas. Existe algum modelo de linguagem treinado em python que eu possa usar facilmente? Algo simples como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision