Ciência de dados

Como parte da minha pesquisa, estou interessado em realizar a propagação de rótulos em um gráfico. Estou especialmente interessado nesses dois métodos: Xiaojin Zhu e Zoubin Ghahramani. Aprendendo com dados rotulados e não rotulados com propagação de rótulo. Relatório Técnico CMU-CALD-02-107, Universidade Carnegie Mellon, 2002 http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf Dengyong Zhou, Olivier Bousquet, …

11 scikit-learn  graphs 

Estou trabalhando no modelo Seq2Seq usando LSTM da Keras (usando o Theano background) e gostaria de paralelizar os processos, porque poucos MBs de dados precisam de várias horas para treinamento. É claro que as GPUs são muito melhores em paralelismo do que as CPUs. No momento, só tenho CPUs para …

11 tensorflow  keras  theano  parallel 

Estou convertendo um corpus de documentos de texto em vetores de palavras para cada documento. Eu tentei isso usando um TfidfVectorizer e um HashingVectorizer Entendo que um HashingVectorizernão leva em consideração as IDFpontuações como um TfidfVectorizerfaz. A razão pela qual ainda estou trabalhando com a HashingVectorizeré a flexibilidade que ela …

11 nlp  scikit-learn  text-mining  tfidf 

Estou um pouco confuso com a coexistência de métricas de perda e precisão nas redes neurais. Ambos devem render a "exatidão" da comparação de e , não são? Portanto, a aplicação dos dois não é redundante nas épocas de treinamento? Além disso, por que eles não estão relacionados?yyyyy^y^\hat{y}

11 neural-network  evaluation 

Estou tentando descobrir quantos pesos e preconceitos são necessários para a CNN. Digamos que eu tenho uma imagem (3, 32, 32) e quero aplicar um filtro (32, 5, 5). Para cada mapa de recursos, tenho pesos 5x5, portanto, devo ter 3 x (5x5) x 32 parâmetros. Agora eu preciso adicionar …

11 deep-learning  convnet  backpropagation 

Eu sou novo no TensorFlow e preciso entender os recursos e as deficiências do TensorFlow antes de poder usá-lo. Eu sei que é uma estrutura de aprendizado profundo, mas, além daquela que outros algoritmos de aprendizado de máquina podemos usar com o fluxo tensorial. Por exemplo, podemos usar SVMs ou …

11 machine-learning 

Ao tentar fazer, por exemplo, uma classificação, minha abordagem atualmente é experimente primeiro vários algoritmos e faça benchmarks deles executar seleção de recurso no melhor algoritmo de 1 acima ajustar os parâmetros usando os recursos e o algoritmo selecionados No entanto, muitas vezes não consigo me convencer de que pode …

11 feature-selection  parameter-estimation 

Suponha que eu tenha uma função suave como . Eu tenho um conjunto de treinamento D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ in \ mathbb {R} ^ 2 \} e, é claro, eu não sei f, embora possa avaliar f onde quiser. D ⊊ …

11 predictive-modeling  regression  decision-trees 

Estou usando o notebook Ipython para trabalhar com aplicativos pyspark. Eu tenho um arquivo CSV com muitas colunas categóricas para determinar se a renda cai abaixo ou acima do intervalo de 50k. Eu gostaria de executar um algoritmo de classificação, utilizando todas as entradas para determinar a faixa de renda. …

11 python  apache-spark  categorical-data  pyspark 

Atualmente, estou usando SVM e dimensionando meus recursos de treinamento para o intervalo de [0,1]. Primeiro ajustei / transformei meu conjunto de treinamento e depois apliquei a mesma transformação ao meu conjunto de testes. Por exemplo: ### Configure transformation and apply to training set min_max_scaler = MinMaxScaler(feature_range=(0, 1)) X_train = …

11 machine-learning  svm  feature-scaling 

Quero fazer uma previsão do resultado das eleições parlamentares. Minha saída será a% que cada parte recebe. Como existem mais de duas partes, a regressão logística não é uma opção viável. Eu poderia fazer uma regressão separada para cada parte, mas nesse caso os resultados seriam de alguma maneira independentes …

11 classification  r  python  regression  predictive-modeling 

Estatísticas comuns de validação de modelo, como o teste Kolmogorov – Smirnov (KS), AUROC e Gini, estão todas relacionadas funcionalmente. No entanto, minha pergunta tem a ver com provar como tudo isso está relacionado. Estou curioso para saber se alguém pode me ajudar a provar esses relacionamentos. Não consegui encontrar …

11 data-mining  statistics  predictive-modeling  accuracy 

Olá, esta é minha primeira pergunta na pilha de ciência de dados. Eu quero criar um algoritmo para classificação de texto. Suponha que eu tenha um grande conjunto de textos e artigos. Vamos dizer cerca de 5000 textos simples. Primeiro, uso uma função simples para determinar a frequência de todas …

11 text-mining  clustering 

Eu sou um pesquisador prático e gosto de testar soluções viáveis, por isso tenho muitas experiências. Por exemplo, se estiver calculando uma pontuação de similaridade entre documentos, convém tentar várias medidas. De fato, para cada medida, talvez seja necessário fazer várias execuções para testar o efeito de alguns parâmetros. Até …

11 tools  experiments 

Eu implementei o sistema NER com o uso do algoritmo CRF com meus recursos artesanais que deram bons resultados. O fato é que eu usei muitos recursos diferentes, incluindo tags POS e lemas. Agora eu quero fazer o mesmo NER para um idioma diferente. O problema aqui é que não …

11 nlp  text-mining  feature-extraction