Ciência de dados

Estou tentando criar um conjunto de dados em vários arquivos de log de um de nossos produtos. Os diferentes arquivos de log têm seu próprio layout e conteúdo; Eu os agrupei com sucesso, apenas um passo restante ... De fato, as "mensagens" do log são as melhores informações. Não tenho …

10 text-mining  clustering 

Estou tentando configurar uma infraestrutura de big data usando Hadoop, Hive, Elastic Search (entre outros) e gostaria de executar alguns algoritmos em determinados conjuntos de dados. Eu gostaria que os algoritmos fossem escalonáveis, então isso exclui o uso de ferramentas como Weka, R ou RHadoop. A Biblioteca Apache Mahout parece …

10 data-mining  bigdata  algorithms  outlier 

Estou desenvolvendo um programa de xadrez que utiliza o algoritmo de poda alfa-beta e uma função de avaliação que avalia posições usando os seguintes recursos: material, segurança, mobilidade, estrutura de peões e peças presas, etc. Minha função de avaliação é derivado do f( p ) = w1 1⋅ material + …

10 machine-learning  algorithms  reinforcement-learning 

Descrição geral do problema Eu tenho um gráfico onde alguns vértices são rotulados com um tipo com 3 ou 4 valores possíveis. Para os outros vértices, o tipo é desconhecido. Meu objetivo é usar o gráfico para prever o tipo de vértices sem rótulo. Quadro possível Eu suspeito que isso …

10 classification  r  graphs 

Eu tenho milhares de listas de strings, e cada lista tem cerca de 10 strings. A maioria das seqüências de caracteres em uma determinada lista é muito semelhante, embora algumas sejam (raramente) completamente não relacionadas às outras e algumas contenham palavras irrelevantes. Eles podem ser considerados variações ruidosas de uma …

10 nlp  similarity  information-retrieval 

Estive analisando um conjunto de dados de ~ 400k registros e 9 variáveis. A variável dependente é binária. Eu ajustei uma regressão logística, uma árvore de regressão, uma floresta aleatória e uma árvore aumentada por gradiente. Todos eles fornecem números idênticos virtuais de ajuste quando os valido em outro conjunto …

10 data-mining  classification  binary 

Existe uma tabela geral conhecida de técnicas estatísticas que explique como elas são dimensionadas com tamanho e dimensão da amostra? Por exemplo, um amigo meu me disse outro dia que o tempo de computação da simples classificação rápida de dados unidimensionais do tamanho n é n * log (n). Então, …

10 bigdata  statistics  efficiency  scalability 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Data Science Stack Exchange. Fechado há 5 anos . Eu quero me tornar um cientista de dados . Estudei estatística aplicada (ciência …

10 machine-learning  statistics  career 

Advertência: Sou iniciante no aprendizado de máquinas, mas estou ansioso para aprender. Eu tenho um grande conjunto de dados e estou tentando encontrar um padrão nele. Pode / pode não haver correlação entre os dados, seja com variáveis ​​conhecidas ou variáveis ​​contidas nos dados, mas que ainda não percebi que …

10 machine-learning  data-mining  tools  beginner 

Eu gostaria de usar dados não atômicos, como um recurso para uma previsão. Suponha que eu tenha uma tabela com esses recursos: - Column 1: Categorical - House - Column 2: Numerical - 23.22 - Column 3: A Vector - [ 12, 22, 32 ] - Column 4: A Tree …

10 machine-learning 

Estou trabalhando em um sistema de detecção de fraudes. Nesse campo, novas fraudes aparecem regularmente, de modo que novos recursos precisam ser adicionados ao modelo continuamente. Gostaria de saber qual é a melhor maneira de lidar com isso (da perspectiva do processo de desenvolvimento)? Apenas adicionar um novo recurso ao …

10 machine-learning  bigdata 

Eu gostaria de usar a ANN para automatizar as moedas de negociação, de preferência USD / EUR ou USD / GBP. Eu sei que isso é difícil e pode não ser simples. Já li alguns trabalhos e fiz algumas experiências, mas sem muita sorte. Eu gostaria de obter conselhos de …

10 neural-network 

Estou trabalhando em um projeto e preciso de recursos para me atualizar. O conjunto de dados é de cerca de 35000 observações em 30 variáveis. Cerca da metade das variáveis ​​são categóricas, com algumas possuindo muitos valores possíveis, ou seja, se você dividir as variáveis ​​categóricas em variáveis ​​dummy, terá …

10 r  logistic-regression 

Em alguns casos, pode ser impossível desenhar diagramas de Euler com círculos sobrepostos para representar todos os subconjuntos sobrepostos nas proporções corretas. Esse tipo de dado requer o uso de polígonos ou outras figuras para representar cada conjunto. Ao lidar com dados que descrevem subconjuntos sobrepostos, como posso descobrir se …

10 visualization 

Tentei detectar discrepâncias no consumo de gás de energia de alguns edifícios holandeses, construindo um modelo de rede neural. Tenho resultados muito ruins, mas não consigo encontrar o motivo. Como não sou especialista, gostaria de perguntar o que posso melhorar e o que estou fazendo de errado. Esta é a …

10 neural-network  outlier