Estatísticas e Big Data classification

1

Como o aumento de gradiente calcula estimativas de probabilidade?

Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de probabilidade. Então, como eles calculam as probabilidades?

11 machine-learning classification boosting ensemble xgboost

3

O classificador "Bom" destruiu minha curva Precision-Recall. O que aconteceu?

Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor discriminação (curvas …

11 classification svm roc naive-bayes precision-recall

5

Por que o binning deve ser evitado a todo custo?

Então, eu li algumas postagens sobre por que o binning sempre deve ser evitado. Uma referência popular para essa afirmação é este link . A principal fuga é que os pontos de escaneamento (ou pontos de corte) são bastante arbitrários, bem como a perda de informações resultante, e esses splines …

10 classification categorical-data continuous-data splines binning

3

Quando você usaria o PCA em vez do LDA na classificação?

Estou lendo este artigo sobre a diferença entre Análise de Componentes Principais e Análise Discriminante Múltipla (Análise Discriminante Linear), e estou tentando entender por que você usaria o PCA em vez do MDA / LDA. A explicação é resumida da seguinte forma: grosso modo, no PCA, estamos tentando encontrar os …

10 classification pca dimensionality-reduction discriminant-analysis

1

As redes neurais geralmente demoram um pouco para "entrar" durante o treinamento?

Estou tentando treinar uma rede neural profunda para classificação, usando propagação de volta. Especificamente, estou usando uma rede neural convolucional para classificação de imagens, usando a biblioteca Tensor Flow. Durante o treinamento, estou passando por um comportamento estranho e estou me perguntando se isso é típico ou se posso estar …

10 machine-learning classification neural-networks conv-neural-network tensorflow

3

Casos de uso RBF SVM (vs regressão logística e floresta aleatória)

O Support Vector Machines com kernel de função de base radial é um classificador supervisionado de uso geral. Embora conheça os fundamentos teóricos desses SVMs e seus pontos fortes, não conheço os casos em que eles são o método preferido. Então, existe uma classe de problemas para os quais os …

10 machine-learning logistic classification svm random-forest

4

Sobreajuste com classificadores lineares

Hoje, nosso professor declarou em sala de aula que "não é possível adaptar demais aos classificadores lineares". Considero que isso está errado, uma vez que até os classificadores lineares podem ser sensíveis a outliers no conjunto de treinamento - por exemplo, uma margem rígida Support Vector Machine: Um único ponto …

10 classification overfitting

2

Aplicando o PCA aos Dados de Teste para Propósitos de Classificação

Recentemente, aprendi sobre o maravilhoso PCA e fiz o exemplo descrito na documentação do scikit-learn . Estou interessado em saber como posso aplicar o PCA a novos pontos de dados para fins de classificação. Depois de visualizar o PCA em um plano bidimensional (eixo x, y), vejo que provavelmente posso …

10 classification pca scikit-learn

1

Curvas ROC para conjuntos de dados não balanceados

Considere uma matriz de entrada e uma saída binária .XXXyyy Uma maneira comum de medir o desempenho de um classificador é usar curvas ROC. Em um gráfico ROC, a diagonal é o resultado que seria obtido de um classificador aleatório. No caso de uma saída desequilibrada o desempenho de um …

10 classification roc unbalanced-classes

2

Por que Adaboost com árvores de decisão?

Eu tenho lido um pouco sobre o aumento de algoritmos para tarefas de classificação e o Adaboost em particular. Entendo que o objetivo do Adaboost é levar vários "alunos fracos" e, por meio de um conjunto de iterações sobre dados de treinamento, forçar os classificadores a aprender a prever as …

10 machine-learning classification algorithms boosting

2

Como alterar o limite de classificação no R randomForests?

Toda a literatura de Modelagem de Distribuição de Espécies sugere que, ao prever a presença / ausência de uma espécie usando um modelo que gera probabilidades (por exemplo, RandomForests), é importante escolher a probabilidade de limiar pela qual classificar uma espécie como presença ou ausência é importante e deve-se nem …

10 r classification random-forest threshold

3

Como visualizar a qualidade bayesiana do ajuste para regressão logística

Para um problema de regressão logística bayesiana, criei uma distribuição preditiva posterior. Eu coleciono amostras da distribuição preditiva e recebo milhares de amostras de (0,1) para cada observação que tenho. Visualizar a qualidade do ajuste é menos do que interessante, por exemplo: Este gráfico mostra as 10.000 amostras + o …

10 bayesian data-visualization classification goodness-of-fit binary-data

1

Por que Anova () e drop1 () forneceram respostas diferentes para os GLMMs?

Eu tenho um GLMM do formulário: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), obtenho resultados diferentes dos que utilizo Anova(model, type="III")na embalagem do carro ou summary(model). Estes dois últimos dão as mesmas respostas. Usando um monte de dados fabricados, …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

3

De onde veio o termo "aprender um modelo"

Muitas vezes, ouvi os mineradores de dados aqui usarem esse termo. Como estatístico que trabalhou em problemas de classificação, estou familiarizado com o termo "treinar um classificador" e presumo que "aprenda um modelo" significa a mesma coisa. Não me importo com o termo "treinar um classificador". Isso parece retratar a …

10 classification data-mining terminology model

1

Sobre correlação copenética para agrupamento de dendrogramas

Considere o contexto de um cluster de dendrograma. Vamos chamar de divergências originais as distâncias entre os indivíduos. Após a construção do dendrograma, definimos a dissimilaridade copenética entre dois indivíduos como a distância entre os grupos aos quais esses indivíduos pertencem. Algumas pessoas consideram que a correlação entre as dissimilaridades …

10 clustering classification

Perguntas com a marcação «classification»