Perguntas com a marcação «apache-spark»

A maioria dos conjuntos de dados de código aberto está bem formatada, ou seja, cada mensagem de email é separada bem como o conjunto de dados da Enron. Mas, no mundo real, é altamente difícil separar uma mensagem de email principal de um segmento de emails. Por exemplo, considere a …

7 classification  scikit-learn  apache-spark  preprocessing  sentiment-analysis 

Como parte do projeto de análise de big data, estou trabalhando, Preciso executar o PCA em alguns dados, usando o sistema de computação em nuvem. No meu caso, estou usando o Amazon EMR para o trabalho e o Spark em particular. Deixando de lado a questão "Como executar o PCA …

7 data-mining  bigdata  apache-spark  pca  distributed 

Estou usando LogisticRegressionWithLBFGSpara treinar um classificador de várias classes. Existe uma maneira de obter a probabilidade de todas as classes (não apenas a principal classe candidata) quando eu testar o modelo em novas amostras não vistas? PS: Não sou necessariamente obrigado a usar o classificador LBFGS, mas gostaria de usar …

7 classification  apache-spark  multiclass-classification 

Estou usando o Spark (1.5.1) de um notebook IPython em um macbook pro. Após a instalação de ignição e Anaconda, eu começo IPython de um terminal executando: IPYTHON_OPTS="notebook" pyspark. Isso abre uma página da Web listando todos os meus notebooks IPython. Eu posso selecionar um deles, abrindo-o em uma segunda …

7 apache-spark  pyspark  ipython  anaconda 

Comparei os modelos de regressão logística em R ( glm) e Spark (LogisticRegressionWithLBFGS ) em um conjunto de dados de 390 obs. de 14 variáveis. Os resultados são completamente diferentes na interceptação e nos pesos. Como explicar isso? Aqui estão os resultados do Spark (LogisticRegressionWithLBFGS): model.intercept : 1.119830027739959 model.weights : …

7 machine-learning  r  logistic-regression  apache-spark 

então estou usando o Spark para fazer análises de sentimentos e continuo recebendo erros com os serializadores que ele usa (acho) para transmitir objetos python. PySpark worker failed with exception: Traceback (most recent call last): File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin- hadoop1/python/pyspark/worker.py", line 77, in main serializer.dump_stream(func(split_index, iterator), outfile) File "/Users/abdul/Desktop/RSI/spark-1.0.1-bin- hadoop1/python/pyspark/serializers.py", line 191, …

7 apache-spark  pyspark  sentiment-analysis