Ciência de dados

O abandono ( papel , explicação ) define a saída de alguns neurônios para zero. Portanto, para um MLP, você pode ter a seguinte arquitetura para o conjunto de dados de flores Iris : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Funcionaria assim: s …

10 dropout 

A questão Como posso prever a classificação de um novo usuário em um modelo de ALS treinado no Spark? (Novo = não visto durante o tempo de treinamento) O problema Estou seguindo o tutorial oficial do Spark ALS aqui: http://ampcamp.berkeley.edu/big-data-mini-course/movie-recommendation-with-mllib.html Eu sou capaz de construir um bom recomendador com um …

10 apache-spark  recommender-system  pyspark 

Existem várias abordagens de seleção de características / seleção de variáveis ​​(ver, por exemplo, Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): métodos de filtro (por exemplo, baseado em correlação, entropia e importância aleatória da floresta), métodos de invólucro (por exemplo, pesquisa direta, pesquisa de escalada) e métodos …

10 feature-selection  performance  model-selection 

Aprendi que o Keras tem uma funcionalidade para "mesclar" dois modelos de acordo com o seguinte: from keras.layers import Merge left_branch = Sequential() left_branch.add(Dense(32, input_dim=784)) right_branch = Sequential() right_branch.add(Dense(32, input_dim=784)) merged = Merge([left_branch, right_branch], mode='concat') Qual é o ponto em NNs de fusão, em quais situações é útil? É uma …

10 keras 

Uma das metodologias para selecionar um subconjunto de recursos disponíveis para o seu classificador é classificá-los de acordo com um critério (como ganho de informações) e, em seguida, calcular a precisão usando seu classificador e um subconjunto dos recursos classificados. Por exemplo, se seus recursos são A, B, C, D, …

10 machine-learning  feature-selection 

Qual é o problema de salto de dimensão no aprendizado de máquina (ocorrendo em redes neurais convolucionais e reconhecimento de imagem)? Eu pesquisei sobre isso, mas tudo o que recebo são informações sobre a física da deformação da forma do material. Seria mais útil para mim se alguém o explicasse …

10 machine-learning  image-recognition 

Eu tenho um conjunto de dados na seguinte estrutura inserida em um arquivo CSV: Banana Water Rice Rice Water Bread Banana Juice Cada linha indica uma coleção de itens que foram comprados juntos. Por exemplo, a primeira linha denota que os itens Banana, Watere Riceforam comprados juntos. Quero criar uma …

10 python  r  data-mining  visualization  association-rules 

Estou enfrentando uma situação em que os números de exemplos positivos e negativos em um conjunto de dados são desequilibrados. Minha pergunta é: existem regras práticas que nos dizem quando devemos subamostrar a categoria grande para forçar algum tipo de equilíbrio no conjunto de dados. Exemplos: Se o número de …

10 classification  dataset  sampling  class-imbalance 

Sou iniciante no Keras e comecei com o exemplo do MNIST para entender como a biblioteca realmente funciona. O trecho de código do problema MNIST na pasta de exemplo Keras é fornecido como: import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from …

10 python  neural-network  deep-learning  keras 

Estou procurando informações sobre como deve ser organizado um projeto de aprendizado de máquina do Python. Para projetos usuais do Python, existe o Cookiecutter e para o R ProjectTemplate . Esta é a minha estrutura de pastas atual, mas estou misturando Jupyter Notebooks com o código Python real e isso …

10 python 

Eu tenho uma tabela SQL grande que é essencialmente um log. Os dados são bastante complexos e estou tentando encontrar uma maneira de identificar anomalias sem que eu entenda todos os dados. Encontrei muitas ferramentas para a detecção de anomalias, mas a maioria delas exige um tipo de "intermediário", como …

10 sql  anomaly-detection  outlier 

Eu li que a representação distributiva é baseada na hipótese distributiva de que palavras que ocorrem em um contexto semelhante tendem a ter significados semelhantes. O Word2Vec e o Doc2Vec são modelados de acordo com esta hipótese. Mas, no artigo original, mesmo eles são intitulados como Distributed representation of words …

10 nlp  word-embeddings  terminology  word2vec 

Hoje, em uma palestra, foi afirmado que a direção das arestas em uma rede Bayes realmente não importa. Eles não precisam representar causalidade. É óbvio que você não pode mudar nenhuma borda em uma rede Bayes. Por exemplo, seja com V = { v 1 , v 2 , v …

10 bayesian-networks 

Há uma pergunta semelhante aqui no CrossValidated, e eu li as respostas. Minha pergunta é um pouco diferente. Não quero apenas visualizar meus dados e, de fato, o que quero visualizar não é fácil de visualizar com nenhum dos pacotes. Eu tenho dois conjuntos de pontos ( coordenadas ) no …

10 r  visualization  ggplot2 

Eu tenho tentado entender os diferentes algoritmos de clustering k-means, principalmente implementados no statspacote da Rlinguagem. Entendo o algoritmo de Lloyd e o algoritmo on-line de MacQueen. A maneira como eu os entendo é a seguinte: Algoritmo de Lloyd: Inicialmente, são escolhidas observações aleatórias 'k' que servirão como centróides dos …

10 r  clustering  k-means