Perguntas com a marcação «performance»

Muitas pessoas usam o termo big data de maneira bastante comercial , como um meio de indicar que grandes conjuntos de dados estão envolvidos na computação e, portanto, as soluções em potencial devem ter um bom desempenho. Obviamente, o big data sempre carrega termos associados, como escalabilidade e eficiência, mas …

86 bigdata  scalability  efficiency  performance 

Eu tenho um programa de modelagem e pontuação que faz uso pesado da DataFrame.isinfunção dos pandas, pesquisando nas listas de registros "like" do Facebook de usuários individuais para cada um dos milhares de páginas específicas. Essa é a parte que consome mais tempo do programa, mais do que as peças …

25 performance  python  pandas  parallel 

Com toda a confusão em torno da ciência de dados, aprendizado de máquina e todas as histórias de sucesso, existem muitas expectativas justificadas e superinflacionadas dos cientistas de dados e de seus modelos preditivos. Minha pergunta para os estatísticos, especialistas em aprendizado de máquina e cientistas de dados é: como …

22 performance  accuracy 

Quando um banco de dados relacional, como o MySQL, tem melhor desempenho do que um não relacional, como o MongoDB? Outro dia vi uma pergunta no Quora, sobre por que o Quora ainda usa o MySQL como back-end e se o desempenho deles ainda é bom.

13 bigdata  performance  databases  nosql 

Atualmente, estou usando vários classificadores diferentes em várias entidades extraídas do texto e usando precisão / recall como um resumo de quão bem cada classificador separado é executado em um determinado conjunto de dados. Gostaria de saber se existe uma maneira significativa de comparar o desempenho desses classificadores de maneira …

12 classification  performance 

precisão é a fração de instâncias recuperadas relevantes, enquanto recall (também conhecido como sensibilidade) é a fração de instâncias relevantes recuperadas. Eu sei o significado delas, mas não sei por que isso se chama recall ? Eu não sou falante nativo de inglês. Eu sei que recordar significa recordar, então …

11 performance  terminology 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria das línguas tem algum número de …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Existem várias abordagens de seleção de características / seleção de variáveis ​​(ver, por exemplo, Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): métodos de filtro (por exemplo, baseado em correlação, entropia e importância aleatória da floresta), métodos de invólucro (por exemplo, pesquisa direta, pesquisa de escalada) e métodos …

10 feature-selection  performance  model-selection 

Qualquer pequeno processamento de banco de dados pode ser facilmente enfrentado por scripts Python / Perl / ..., que usam bibliotecas e / ou utilitários da própria linguagem. No entanto, quando se trata de desempenho, as pessoas tendem a buscar linguagens C / C ++ / de baixo nível. A …

10 bigdata  efficiency  performance 

Eu tenho um conjunto de dados com 19 colunas e cerca de 250k linhas. Eu trabalhei com conjuntos de dados maiores, mas desta vez o Pandas decidiu brincar com meus nervos. Tentei dividir o conjunto de dados original em 3 subframes com base em algumas regras simples. No entanto, leva …

9 python  pandas  performance 

Eu usei a técnica smote para exagerar o meu conjunto de dados e agora tenho um conjunto de dados equilibrado. O problema que enfrentei é que as métricas de desempenho; precisão, rechamada, medida f1, precisão no conjunto de dados desequilibrado são melhor executadas do que com o conjunto de dados …

8 performance 

Eu me pergunto por que o treinamento de RNNs normalmente não usa 100% da GPU. Por exemplo, se eu executar esse benchmark RNN em um Maxwell Titan X no Ubuntu 14.04.4 LTS x64, a utilização da GPU será inferior a 90%: O benchmark foi lançado usando o comando: python rnn.py …

8 performance  theano  rnn  gpu 

Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, …

8 bigdata  efficiency  performance  scalability  distributed 

Entendo que os modelos são tão bons quanto os dados que você obtém, e o design incorreto pode gerar dados realmente ruins. Amostras não aleatórias, projetos desequilibrados / incompletos, confusos, podem dificultar a análise dos dados. Em que ponto devemos confiar que eles executaram um modelo útil ? Você apenas …

7 performance  accuracy