Ciência de dados

Quero prever algum valor e estou tentando obter alguma previsão que otimize entre ser o mais baixo possível, mas ainda ser maior que . Em outras palavras: Y ( x ) Y ( x ) custo { Y ( x ) ≳ Y ( x ) } > > custo …

13 machine-learning  logistic-regression 

Sou iniciante em aprendizado de máquina e estou enfrentando uma situação. Estou trabalhando em um problema de lances em tempo real, com o conjunto de dados IPinYou e estou tentando fazer uma previsão de cliques. O fato é que, como você deve saber, o conjunto de dados é muito desequilibrado: …

13 machine-learning  dataset  sampling 

Suponha que eu tenha os classificadores C_1 ... C_n disjuntos, no sentido de que nenhum dois retornará verdadeiro na mesma entrada (por exemplo, os nós em uma árvore de decisão). Eu quero construir um novo classificador que seja a união de alguns subconjuntos deles (por exemplo, eu quero decidir quais …

13 algorithms 

Alguém pode me dizer qual é o objetivo da geração de recursos? e por que o enriquecimento do espaço de recurso é necessário antes da classificação de uma imagem? É um passo necessário? Existe algum método para enriquecer o espaço de recursos?

13 machine-learning  classification 

Sou muito novo no Scala e no Spark e estou trabalhando em alguns exercícios criados usando estatísticas de beisebol. Estou usando uma classe de caso, crie um RDD e atribua um esquema aos dados, e depois o transformei em um DataFrame para que eu possa usar o SparkSQL para selecionar …

13 apache-spark  scala 

Estou trabalhando em um projeto de ciência de dados relacionado à mineração de relacionamento social e preciso armazenar dados em alguns bancos de dados de gráficos. Inicialmente, escolhi o Neo4j como banco de dados. Mas parece que o Neo4j não escala bem. A alternativa que descobri são Titan e oriebtDB. …

13 data-mining  graphs  databases  social-network-analysis 

Antes de tudo, esse termo parece tão obscuro. Enfim .. Eu sou um programador de software. Uma das linguagens que posso codificar é Python. Falando em dados, posso usar SQL e fazer raspagem de dados. O que descobri até agora depois de ler tantos artigos nos quais a Data Science …

13 beginner  career 

Estou tentando encontrar um equivalente dos diagramas de Hinton para redes multicamadas para plotar os pesos durante o treinamento. A rede treinada é um pouco semelhante a um SRN profundo, ou seja, possui um número alto de matrizes de peso múltiplas, o que tornaria visualmente confusa a plotagem simultânea de …

13 machine-learning  neural-network  visualization  deep-learning 

Uma floresta aleatória (RF) é criada por um conjunto de árvores de decisão (DT). Usando o empacotamento, cada DT é treinado em um subconjunto de dados diferente. Portanto, existe alguma maneira de implementar uma floresta aleatória on-line adicionando mais árvores de decisão em novos dados? Por exemplo, temos 10 mil …

13 random-forest  online-learning 

Estou explorando diferentes tipos de estruturas de árvores de análise. As duas estruturas de árvore de análise amplamente conhecidas são a) árvore de análise baseada em constituintes eb) estruturas de árvore de análise baseadas em dependência. Eu sou capaz de usar gerar dois tipos de estruturas de árvore de análise …

13 machine-learning  nlp  feature-selection  feature-extraction 

Eu tenho um conjunto de resultados de um teste A / B (um grupo de controle, um grupo de recursos) que não se encaixam em uma distribuição normal. De fato, a distribuição se assemelha mais à Distribuição Landau. Acredito que o teste t independente exige que as amostras sejam distribuídas …

13 dataset  statistics  ab-test 

Recentemente, fui apresentado ao campo de Ciência de Dados (já faz 6 meses aproximadamente) e eu comecei a jornada com o Machine Learning Course de Andrew Ng e um post que começou a trabalhar na Data Science Specialization by JHU. No campo da aplicação prática, tenho trabalhado na construção de …

13 machine-learning 

Quando um banco de dados relacional, como o MySQL, tem melhor desempenho do que um não relacional, como o MongoDB? Outro dia vi uma pergunta no Quora, sobre por que o Quora ainda usa o MySQL como back-end e se o desempenho deles ainda é bom.

13 bigdata  performance  databases  nosql 

Eu sou um estudante de mestrado em mineração de dados. Meu supervisor me disse uma vez que, antes de executar qualquer classificador ou fazer qualquer coisa com um conjunto de dados, preciso entender completamente os dados e garantir que eles estejam limpos e corretos. Minhas perguntas: Quais são as melhores …

13 statistics  dataset 

Eu li muitos artigos de blogs sobre como diferentes tipos de indústrias estão usando o Big Data Analytic. Mas a maioria desses artigos não menciona Que tipo de dados essas empresas usaram. Qual foi o tamanho dos dados Que tipo de tecnologias de ferramentas eles usaram para processar os dados …

13 data-mining  bigdata  usecase