Estatísticas e Big Data data-mining

2

Determinando o maior colaborador de um grupo

Eu não sei muito sobre estatísticas, então tenha paciência comigo. Digamos que eu tenho um conjunto de 1000 trabalhadores. Quero descobrir quem é o trabalhador mais esforçado, mas só posso medir a quantidade de trabalho realizado em grupos de 1 a 100 em mais de uma hora de trabalho. Supondo …

9 r regression data-mining

2

Uso do parâmetro Gamma com máquinas de vetores de suporte

Ao usar libsvm, o parâmetro é um parâmetro para a função do kernel. Seu valor padrão é configurado como γ = 1γγ\gammaγ=1number of features.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Existe alguma orientação teórica para configurar esse parâmetro além dos métodos existentes, por exemplo, pesquisa em grade?

9 machine-learning svm data-mining libsvm kernel-trick

2

Compreendendo e aplicando análise de sentimentos

Eu estava acabando de receber um projeto de análise de sentimentos para algumas coleções de documentos. Ao pesquisar no Google, muitas pesquisas relacionadas a sentimentos surgiram. Minhas perguntas são: Quais são os principais métodos / algoritmos para análise de sentimentos no campo de aprendizado de máquina e análise estatística? Existem …

9 machine-learning data-mining text-mining information-retrieval sentiment-analysis

2

Remover duplicatas do conjunto de treinamento para classificação

Digamos que eu tenha várias linhas para um problema de classificação: X1 1, . . . XN, YX1,...XN,YX_1, ... X_N, Y Onde são os recursos / preditores e é a classe à qual a combinação de recursos da linha pertence.X1 1, . . . , XNX1,...,XNX_1, ..., X_NYYY Muitas combinações …

9 machine-learning classification data-mining logistic stratification

5

O que posso fazer além da correlação de Pearson?

Enquanto verificava se duas variáveis estavam correlacionadas, observei que a aplicação da correlação de Pearson produziu números tão baixos quanto 0,1, indicando que não há correlação. Existe algo que eu possa fazer para fortalecer essa afirmação? O conjunto de dados (subconjunto por causa dos limites de postagem) que estou vendo …

9 correlation data-mining pearson-r

3

Algoritmo a priori em inglês simples?

Eu li um artigo wiki sobre Apriori. Tenho problemas para entender a ameixa e a etapa de ingresso. Alguém pode me explicar como o algoritmo Apriori funciona em termos simples (para que iniciantes como eu possam entender facilmente)? Será bom se alguém explicar o processo passo a passo envolvido nele.

9 data-mining algorithms frequentist

3

Como selecionar rapidamente variáveis importantes de um conjunto de dados muito grande?

Eu tenho um conjunto de dados com cerca de 2.000 variáveis binárias / 200.000 linhas e estou tentando prever uma única variável dependente binária. Meu principal objetivo, neste estágio, não é obter precisão de previsão, mas identificar quais dessas variáveis são preditores importantes. Gostaria de reduzir o número de variáveis …

9 machine-learning data-mining large-data

2

Introdução ao biclustering

Eu tenho feito algumas pesquisas casuais na Internet sobre biclusters. (Eu li o artigo da Wiki várias vezes.) Até agora, parece que existem poucas definições ou terminologia padrão. Fiquei me perguntando se havia algum documento ou livro padrão que alguém interessado em algoritmos para encontrar biclusters deveria ler. É possível …

9 clustering data-mining

2

Calcular curva ROC para dados

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

A Random Forest é uma boa opção para a classificação de dados não balanceados? [fechadas]

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 3 anos . Apesar das abordagens semelhantes e outras crescentes de variabilidade de …

9 machine-learning classification data-mining supervised-learning statistical-learning

2

Conjunto de dados de teste altamente desequilibrado e dados de treinamento balanceados na classificação

Eu tenho um conjunto de treinamento com cerca de 3000 instâncias positivas e 3000 instâncias negativas. Mas meu conjunto de dados de teste é praticamente desequilibrado. O conjunto positivo possui apenas 50 instâncias e o negativo possui 1500 instâncias. Isso faz com que a precisão seja muito baixa. Existem abordagens …

9 machine-learning classification data-mining svm

1

Estou desenvolvendo sistemas de negociação automatizados para o mercado de ações. O grande desafio tem sido excessivo. Você pode recomendar alguns recursos que descrevam métodos para medir e evitar ajustes excessivos? Comecei com conjuntos de treinamento / validação, mas o conjunto de validação sempre fica corrompido. Além disso, os dados …

9 time-series machine-learning dataset data-mining validation

1

Função de custo SVM: definições antigas e novas

Estou tentando reconciliar diferentes definições da função de custo / perda do SVM de margem flexível na forma primária. Existe um operador "max ()" que eu não entendo. Eu aprendi sobre o SVM há muitos anos no livro de graduação em nível " Introdução à mineração de dados " de …

9 machine-learning classification svm data-mining loss-functions

1

CARRO: Seleção do melhor preditor para divisão quando ganhos na diminuição da impureza são iguais?

Minha pergunta lida com árvores de classificação . Considere o seguinte exemplo do conjunto de dados Iris: Desejo selecionar manualmente o melhor preditor para a primeira divisão. De acordo com o algoritmo CART, o melhor recurso para fazer uma divisão é aquele que maximiza a diminuição da impureza da partição, …

8 r machine-learning classification data-mining cart

1

Quando é apropriado usar o PCA como uma etapa de pré-processamento?

Entendo que o PCA é usado para redução de dimensionalidade para poder plotar conjuntos de dados em 2D ou 3D. Mas também vi pessoas aplicando o PCA como uma etapa de pré-processamento nos cenários de classificação em que eles aplicam o PCA para reduzir o número de recursos, depois usam …

8 machine-learning pca data-mining dimensionality-reduction

Perguntas com a marcação «data-mining»