Ciência de dados

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou trabalhando em um projeto e estou tendo dificuldades para …

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

Meus dados incluem respostas de pesquisa binárias (numéricas) e nominais / categóricas. Todas as respostas são discretas e no nível individual. Os dados têm forma (n = 7219, p = 105). Algumas coisas: Estou tentando identificar uma técnica de agrupamento com uma medida de similaridade que funcionaria para dados binários …

10 clustering  k-means  scikit-learn  categorical-data 

Eu criei um classificador Naive Bayes que usa a técnica do saco de palavras para classificar postagens de spam em um quadro de mensagens. Funciona, mas acho que poderia obter resultados muito melhores se meus modelos considerassem a ordem das palavras e frases. (ex: 'garotas' e 'ao vivo' podem não …

10 classification 

Estou tentando encontrar dados de estoque para praticar, existe um bom recurso para isso? Encontrei o seguinte: ftp://emi.nasdaq.com/ITCH/, mas só tem o ano atual. Eu já tenho uma maneira de analisar o protocolo, mas gostaria de ter mais alguns dados para comparar. Ele não precisa estar no mesmo formato, desde …

10 data-mining  dataset 

Eu tenho um conjunto de dados que contém ~ 100.000 amostras de 50 classes. Eu tenho usado o SVM com um kernel RBF para treinar e prever novos dados. O problema, porém, é que o conjunto de dados é inclinado para diferentes classes. Por exemplo, Classe 1 - 30 (~ …

10 classification  svm 

Esta pergunta é sobre algoritmo gerador versus algoritmo discriminativo, mas alguém pode dar um exemplo da diferença entre esses formulários quando aplicado ao Processamento de linguagem natural? Como os modelos generativos e discriminativos são usados ​​na PNL?

10 nlp  language-model 

Fiz algumas pesquisas para aprender precisão e recall e vi que alguns gráficos representam uma relação inversa entre precisão e recall e comecei a pensar sobre isso para esclarecer o assunto. Eu me pergunto o relacionamento inverso sempre vale? Suponha que eu tenha um problema de classificação binária e que …

10 accuracy  confusion-matrix 

Word2vec e GloVe são as duas palavras mais conhecidas que incorporam métodos. Muitos trabalhos apontaram que esses dois modelos são realmente muito próximos um do outro e que, sob algumas suposições, eles realizam uma fatoração matricial dos ppmi das co-ocorrências das palavras no corpus. Ainda assim, não consigo entender por …

10 word2vec  word-embeddings  matrix-factorisation 

Digamos que você tenha um conjunto de dados com milhões de linhas e os atributos Texto sem formatação, Chave e Texto cifrado de saída. O Deep Learning, teoricamente, poderia ser usado para encontrar padrões nas saídas que ajudam a decifrar o texto cifrado? Existem outras abordagens em potencial?

10 machine-learning  deep-learning 

Estou trabalhando na análise de sentimentos sobre tweets usando o word2vec como representação de palavras. Eu treinei meu modelo word2vec. Mas quando vou treinar meu classificador, enfrento o problema de que cada tweet tem tamanho diferente e o classificador (RandomForest) precisa que todos os exemplos sejam do mesmo tamanho. Atualmente, …

10 word-embeddings  word2vec  sentiment-analysis 

O pacote de intercalação de R funciona com 180 modelos. O autor adverte que parte do pacote pode ser intratávelmente lenta ou menos precisa do que os modelos de primeira escolha. O autor não está errado sobre isso. Tentei treinar os modelos Boruta e evtree e tive que desistir depois …

10 machine-learning  r 

Qual é o efeito de NÃO alterar os pesos de filtro de uma CNN durante a retropropagação? Alterei apenas os pesos da camada totalmente conectada durante o treinamento no conjunto de dados MNIST e ainda consegui quase 99% de precisão.

9 machine-learning  cnn  mnist 

Estou procurando algumas dicas sobre como selecionar uma lista de palavras irrelevantes. Alguém sabe / alguém pode recomendar um bom método para extrair listas de palavras de parada do próprio conjunto de dados para pré-processamento e filtragem? Os dados: uma quantidade enorme de texto humano de tamanho variável (termos de …

9 data-mining  nlp  information-retrieval  language-model 

Estou verificando a documentação do XGBoost e afirmou que o XGBoost é uma biblioteca otimizada de aumento de gradiente distribuído . O que se entende por distribuído? Tenha um bom dia

9 xgboost  distributed  boosting 

Estou tentando treinar essa implementação Keras do Deeplabv3 + no Pascal VOC2012, usando o modelo pré-treinado (que também foi treinado nesse conjunto de dados). Eu obtive resultados estranhos com a precisão convergindo rapidamente para a 1.0: 5/5 [==============================] - 182s 36s/step - loss: 26864.4418 - acc: 0.7669 - val_loss: 19385.8555 …

9 python  deep-learning  keras  tensorflow