Perguntas com a marcação «efficiency»

Muitas pessoas usam o termo big data de maneira bastante comercial , como um meio de indicar que grandes conjuntos de dados estão envolvidos na computação e, portanto, as soluções em potencial devem ter um bom desempenho. Obviamente, o big data sempre carrega termos associados, como escalabilidade e eficiência, mas …

86 bigdata  scalability  efficiency  performance 

A lógica geralmente declara que, ao desajustar um modelo, sua capacidade de generalizar aumenta. Dito isto, claramente em algum momento a falta de ajuste de um modelo faz com que os modelos piorem, independentemente da complexidade dos dados. Como você sabe quando seu modelo alcançou o equilíbrio certo e não …

56 efficiency  algorithms  parameter 

Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Estou tentando entender como todos os componentes de "big data" funcionam juntos em um caso de uso do mundo real, por exemplo, hadoop, monogodb / nosql, storm, kafka, ... Eu sei que essa é uma ampla variedade de ferramentas usadas para tipos diferentes, mas gostaria de saber mais sobre a …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Se eu treinar meu modelo usando o seguinte código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) termina em cerca de 1 minuto. Se eu treinar meu modelo usando …

13 machine-learning  python  decision-trees  xgboost  efficiency 

Alguém pode me informar sobre as compensações envolvidas na escolha entre o Storm e o MapReduce no Hadoop Cluster para processamento de dados? Obviamente, além do óbvio, o Hadoop (processamento via MapReduce em um Hadoop Cluster) é um sistema de processamento em lote e o Storm é um sistema de …

12 bigdata  efficiency  apache-hadoop  distributed 

Tanto quanto eu sei o desenvolvimento de algoritmos para resolver o problema da Mineração de Padrão Frequente (FPM), o caminho das melhorias tem alguns pontos de verificação principais. Primeiramente, o algoritmo Apriori foi proposto em 1993 por Agrawal et al. , juntamente com a formalização do problema. O algoritmo conseguiu …

12 bigdata  data-mining  efficiency  state-of-the-art 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria das línguas tem algum número de …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Existe uma tabela geral conhecida de técnicas estatísticas que explique como elas são dimensionadas com tamanho e dimensão da amostra? Por exemplo, um amigo meu me disse outro dia que o tempo de computação da simples classificação rápida de dados unidimensionais do tamanho n é n * log (n). Então, …

10 bigdata  statistics  efficiency  scalability 

Como todos sabemos, existem algumas técnicas de indexação de dados, usadas por aplicativos de indexação conhecidos, como Lucene (para java) ou Lucene.NET (para .NET), MurMurHash, B + Tree etc. Para um No-Sql / Object Banco de dados orientado (que eu tento escrever / brincar um pouco com C #), qual …

10 nosql  efficiency  indexing  data-indexing-techniques  .net 

Qualquer pequeno processamento de banco de dados pode ser facilmente enfrentado por scripts Python / Perl / ..., que usam bibliotecas e / ou utilitários da própria linguagem. No entanto, quando se trata de desempenho, as pessoas tendem a buscar linguagens C / C ++ / de baixo nível. A …

10 bigdata  efficiency  performance 

Certa vez, ouvi dizer que filtrar spam usando listas negras não é uma boa abordagem, pois algum usuário que está procurando entradas no seu conjunto de dados pode estar procurando informações específicas das fontes bloqueadas. Também seria um fardo validar continuamente o estado atual de cada remetente de spam bloqueado, …

8 bigdata  efficiency 

Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, …

8 bigdata  efficiency  performance  scalability  distributed