Ciência de dados

Estou tendo uma string HTML e quero descobrir se uma palavra fornecida é relevante nessa string. A relevância pode ser medida com base na frequência do texto. Um exemplo para ilustrar meu problema: this is an awesome bike store bikes can be purchased online. the bikes we own rock. check …

8 machine-learning  data-mining 

Estas são 4 matrizes de peso diferentes que obtive após o treinamento de uma máquina Boltzman restrita (RBM) com ~ 4k unidades visíveis e apenas 96 unidades ocultas / vetores de peso. Como você pode ver, os pesos são extremamente semelhantes - até pixels pretos no rosto são reproduzidos. Os …

8 rbm 

Estou tentando usar o pacote tm para converter um vetor de seqüências de texto em um elemento corpus. Meu código se parece com isso Corpus(d1$Yes) onde d1$Yesé um fator com 124 níveis, cada um contendo uma sequência de texto. Por exemplo, d1$Yes[246] = "So we can get the boat out!" …

8 r  text-mining 

Fiz uma pergunta semelhante perguntando sobre a distância entre "documentos" (artigos da Wikipedia, notícias, etc.). Fiz uma pergunta separada, porque as consultas de pesquisa são consideravelmente menores que os documentos e são consideravelmente mais barulhentas. Portanto, não sei (e duvido) se as mesmas métricas de distância seriam usadas aqui. Métricas …

8 machine-learning  nlp  search 

Quais são as diferentes classes de problemas de ciência de dados que podem ser resolvidos usando o modelo de programação mapreduce?

8 apache-hadoop  map-reduce 

Analisando a apresentação e o material do Summingbird pelo Twitter, um dos motivos mencionados para o uso de clusters Storm e Hadoop juntos no Summingbird é que o processamento através do Storm resulta em cascata de erros. Para evitar essa cascata de erro e acumulação, o cluster Hadoop é usado …

8 bigdata  apache-hadoop 

Alguém conhece alguns bons tutoriais sobre técnicas de aprendizado de máquina on-line? Ou seja, como ele pode ser usado em ambientes em tempo real, quais são as principais diferenças em comparação aos métodos normais de aprendizado de máquina, etc. UPD: Obrigado a todos pelas respostas. Por "online", quero dizer métodos …

8 machine-learning  education  beginner 

Eu tenho um conjunto de dados de séries temporais que aumenta linearmente de um sensor, com valores variando entre 50 e 150. Eu implementei um algoritmo de regressão linear simples para ajustar uma linha de regressão a esses dados, e estou prevendo a data em que a série chegaria 120 …

8 machine-learning  statistics  time-series 

Estou desenvolvendo um sistema destinado a capturar o "contexto" da atividade do usuário em um aplicativo; é uma estrutura que os aplicativos da web podem usar para marcar a atividade do usuário com base em solicitações feitas ao sistema. Espera-se que esses dados possam alimentar recursos de ML, como recuperação …

8 feature-selection 

Eu tenho uma carga de documentos, que possuem uma carga de pares de valores-chave. A chave pode não ser exclusiva, portanto, pode haver várias chaves do mesmo tipo com valores diferentes. Quero comparar a semelhança das chaves entre dois documentos. Mais especificamente, a semelhança de string desses valores. Estou pensando …

8 algorithms  similarity 

O caso de uso mais popular parece ser um sistema de recomendação de diferentes tipos (como recomendar itens de compras, usuários em redes sociais etc.). Mas quais são outras aplicações típicas de ciência de dados, que podem ser usadas em diferentes verticais? Por exemplo: previsão de rotatividade de clientes com …

8 usecase  consumerweb 

Eu quero testar a precisão de uma metodologia. Eu o executei ~ 400 vezes e recebi uma classificação diferente para cada execução. Eu também tenho a verdade básica, ou seja, a classificação real a ser testada. Para cada classificação, calculei uma matriz de confusão. Agora, quero agregar esses resultados para …

8 classification  confusion-matrix  accuracy 

Alguém pode me explicar, como classificar dados como MNIST com rede MLBP-Neural se eu fizer mais de uma saída (por exemplo, 8), ou seja, se eu apenas usar uma saída, posso classificar facilmente os dados, mas se eu usar mais de um, qual saída devo escolher?

8 neural-network 

Meu conjunto de dados tem um total de 200 colunas, em que cada coluna corresponde ao mesmo pixel em todas as minhas imagens. No total, tenho 48.500 linhas. Os rótulos para os dados variam de 0 a 9. Os dados são mais ou menos assim: raw_0 raw_1 raw_2 raw_3 raw_4 …

8 machine-learning  python  pandas  numpy  image-preprocessing 

Eu tenho uma Xmatriz, uma yvariável e outra variável ORTHO_VAR. Preciso prever a yvariável usando X, no entanto, as previsões desse modelo precisam ser ortogonais e, ao ORTHO_VARmesmo tempo, estar o mais correlacionadas ypossível. Eu preferiria que as previsões fossem geradas com um método não paramétrico como, por exemplo, xgboost.XGBRegressormas …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn