Perguntas com a marcação «data-mining»

Trabalho com aprendizado de máquina e bioinformática há um tempo e hoje tive uma conversa com um colega sobre os principais problemas gerais da mineração de dados. Meu colega (que é especialista em aprendizado de máquina) disse que, na opinião dele, o aspecto prático mais importante do aprendizado de máquina …

11 machine-learning  data-mining  dataset  data-cleaning  data 

Eu quero evitar o excesso de ajustes na floresta aleatória. A esse respeito, pretendo usar mtry, nodesize e maxnodes etc. Você poderia me ajudar a escolher valores para esses parâmetros? Eu estou usando R. Além disso, se possível, diga-me como posso usar a validação cruzada k-fold para floresta aleatória (em …

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Descobri recentemente um novo pacote R para conectar-se à API do LinkedIn. Infelizmente, a API do LinkedIn parece bastante limitada; por exemplo, você só pode obter dados básicos sobre empresas, e isso é desanexado dos dados de indivíduos. Gostaria de obter dados de todos os funcionários de uma determinada empresa, …

11 data-mining  social-network-analysis  crawling  scraping 

Estatísticas comuns de validação de modelo, como o teste Kolmogorov – Smirnov (KS), AUROC e Gini, estão todas relacionadas funcionalmente. No entanto, minha pergunta tem a ver com provar como tudo isso está relacionado. Estou curioso para saber se alguém pode me ajudar a provar esses relacionamentos. Não consegui encontrar …

11 data-mining  statistics  predictive-modeling  accuracy 

Na minha universidade, temos um cluster de computação HPC. Eu uso o cluster para treinar classificadores e assim por diante. Portanto, geralmente, para enviar um trabalho para o cluster (por exemplo, script python scikit-learn), preciso escrever um script Bash que contenha (entre outros) um comando como qsub script.py. No entanto, …

11 bigdata  data-mining 

Preciso encontrar a precisão de um conjunto de dados de treinamento aplicando o Algoritmo Aleatório de Floresta. Mas meu tipo de conjunto de dados é categórico e numérico. Quando tentei ajustar esses dados, recebo um erro. 'Input contém NaN, infinito ou um valor muito grande para dtype (' float32 ')'. …

11 python  data-mining  random-forest 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria das línguas tem algum número de …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Eu tenho um conjunto de dados na seguinte estrutura inserida em um arquivo CSV: Banana Water Rice Rice Water Bread Banana Juice Cada linha indica uma coleção de itens que foram comprados juntos. Por exemplo, a primeira linha denota que os itens Banana, Watere Riceforam comprados juntos. Quero criar uma …

10 python  r  data-mining  visualization  association-rules 

Eu tenho um grande conjunto de dados com objetos JSON de 9m em ~ 300 bytes cada. São postagens de um agregador de links: basicamente links (uma URL, título e ID do autor) e comentários (texto e ID do autor) + metadados. Eles poderiam muito bem ser registros relacionais em …

10 data-mining  bigdata  databases  sql  mongodb 

Estou tentando aprender a raspagem da Web usando Python sozinho como parte de um esforço para aprender a análise de dados. Estou tentando raspar a página da Web do imdb cujo URL é o seguinte: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Estou usando o módulo BeautifulSoup. A seguir está o código que estou usando: r …

10 data-mining  python  scraping 

Estou tentando configurar uma infraestrutura de big data usando Hadoop, Hive, Elastic Search (entre outros) e gostaria de executar alguns algoritmos em determinados conjuntos de dados. Eu gostaria que os algoritmos fossem escalonáveis, então isso exclui o uso de ferramentas como Weka, R ou RHadoop. A Biblioteca Apache Mahout parece …

10 data-mining  bigdata  algorithms  outlier 

Estive analisando um conjunto de dados de ~ 400k registros e 9 variáveis. A variável dependente é binária. Eu ajustei uma regressão logística, uma árvore de regressão, uma floresta aleatória e uma árvore aumentada por gradiente. Todos eles fornecem números idênticos virtuais de ajuste quando os valido em outro conjunto …

10 data-mining  classification  binary 

Advertência: Sou iniciante no aprendizado de máquinas, mas estou ansioso para aprender. Eu tenho um grande conjunto de dados e estou tentando encontrar um padrão nele. Pode / pode não haver correlação entre os dados, seja com variáveis ​​conhecidas ou variáveis ​​contidas nos dados, mas que ainda não percebi que …

10 machine-learning  data-mining  tools  beginner 

É muito comum recomendar que tenhamos dados do produto do usuário que tenham uma etiqueta como, por exemplo, "clique". Para aprender o modelo, preciso de dados de clique e sem clique. A abordagem mais simples de gerar é obter pares usuário-produto que não são encontrados nos dados de cliques. No …

10 machine-learning  data-mining 

Estou tentando treinar uma rede neural artificial com duas camadas convolucionais (c1, c2) e duas camadas ocultas (c1, c2). Estou usando a abordagem de retropropagação padrão. No retrocesso, calculo o termo de erro de uma camada (delta) com base no erro da camada anterior, nos pesos da camada anterior e …

10 machine-learning  data-mining  neural-network  deep-learning