Ciência de dados

Essas duas operações de convolução são muito comuns no aprendizado profundo no momento. Eu li sobre a camada convolucional dilatada neste artigo: WAVENET: UM MODELO GERATIVO PARA ÁUDIO CRU e desconvolução está neste artigo: Redes totalmente convolucionais para segmentação semântica Ambos parecem fazer uma amostra da imagem, mas qual é …

11 machine-learning  deep-learning  convnet  computer-vision  convolution 

Atualmente, estou tentando treinar um modelo em um arquivo csv grande (> 70 GB com mais de 60 milhões de linhas). Para fazer isso, estou usando tf.contrib.learn.read_batch_examples. Estou lutando para entender como essa função realmente lê os dados. Se estou usando um tamanho de lote de, por exemplo, 50.000, ele …

11 python  tensorflow 

Eu tenho a arquitetura de rede do artigo "aprendendo similaridade de imagem refinada com classificação profunda" e não consigo descobrir como a saída da rede paralela três é mesclada usando a camada de incorporação linear. A única informação fornecida nesta camada, no artigo, é Por fim, normalizamos os encaixes das …

11 neural-network  deep-network 

Estou criando uma rede neural simples usando o tensorflow, com os dados coletados por mim mesmo, no entanto, não está cooperando: o PI encontrou um erro que não consigo corrigir ou encontrar, e eu adoraria sua ajuda. A mensagem de erro: TypeError: o argumento de busca 2861.6152 de 2861.6152 possui …

11 machine-learning  python  neural-network  tensorflow 

Estou criando um chatbot simples. Eu quero obter as informações da resposta do usuário. Um cenário de exemplo: Bot : Hi, what is your name? User: My name is Edwin. Desejo extrair o nome Edwin da frase. No entanto, o usuário pode responder de diferentes maneiras, como User: Edwin is …

11 python  nlp 

Tentei definir uma função métrica personalizada (F1-Score) em Keras (back-end do Tensorflow) de acordo com o seguinte: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 …

11 tensorflow  keras  evaluation 

Essa definição não se aplica muito, pois nem sempre estamos assumindo uma distribuição subjacente. Então, o que é realmente um modelo? Um GBM com hiperparâmetros especificados pode ser considerado um modelo? Um modelo é uma coleção de regras?

11 machine-learning 

A biblioteca matplotlib é muito capaz, mas carece de interatividade, especialmente dentro do Jupyter Notebook. Eu gostaria de um bom desligada ferramenta como plotagem plot.ly .

11 python  visualization  pca  jupyter 

Estou tentando usar a CNN (rede neural convolucional) para classificar documentos. A CNN para textos / frases curtas foi estudada em muitos artigos. No entanto, parece que nenhum documento usou a CNN para texto ou documento longo. Meu problema é que há muitos recursos em um documento. No meu conjunto …

11 classification  neural-network  text-mining  convnet  word2vec 

Alexa da Amazon , Mix da Nuance e Wit.ai do Facebook usam um sistema semelhante para especificar como converter um comando de texto em uma intenção - ou seja, algo que um computador entenderia. Não sei ao certo qual é o nome "oficial" para isso, mas o chamo de "reconhecimento …

11 machine-learning  nlp 

Que tipo de recurso você tentará extrair da lista de palavras para previsão futura, é uma palavra existente ou apenas uma bagunça de caracteres? Há uma descrição da tarefa que encontrei lá . Você precisa escrever um programa que possa responder se uma determinada palavra é inglês. Isso seria fácil …

11 machine-learning  nlp  text-mining  algorithms 

Eu estava trabalhando no modelo word2vec gensim e achei realmente interessante. Estou interessado em descobrir como uma palavra desconhecida / invisível, quando verificada com o modelo, poderá obter termos semelhantes do modelo treinado. Isso é possível? O word2vec pode ser ajustado para isso? Ou o corpus de treinamento precisa ter …

11 nlp  deep-learning  word-embeddings  unsupervised-learning 

Eu sou totalmente novo no word2vec, então pls aguenta comigo. Eu tenho um conjunto de arquivos de texto, cada um contendo um conjunto de tweets, entre 1000 e 3000. Eu escolhi uma palavra-chave comum ("kw1") e deseja encontrar termos semanticamente relevantes para "kw1" usando o word2vec. Por exemplo, se a …

11 machine-learning  nlp  text-mining 

Eu tenho um conjunto de dados que possui um atributo de classe binária. Existem 623 casos com classe +1 (câncer positivo) e 101.671 casos com classe -1 (câncer negativo). Eu tentei vários algoritmos (Naive Bayes, Random Forest, AODE, C4.5) e todos eles têm taxas de falso-negativos inaceitáveis. A Random Forest …

11 classification  random-forest  decision-trees  unbalanced-classes 

Estou trabalhando na configuração de um conjunto de VMs para experimentar o Spark antes de gastar e gastar dinheiro na construção de um cluster com algum hardware. Nota rápida: Sou um acadêmico com experiência em aprendizado de máquina aplicado e trabalho bastante em ciência de dados. Eu uso as ferramentas …

11 python  apache-spark  pyspark  ipython