Estatísticas e Big Data classification

2

Desculpas se esta é uma pergunta muito óbvia, mas eu tenho lido várias postagens e parece que não consigo encontrar uma boa confirmação. No caso de classificação, a precisão de um classificador é = taxa de erro de 1 teste ? Percebo que a precisão é , mas minha pergunta …

14 classification terminology accuracy

2

Matemática por trás das árvores de classificação e regressão

Alguém pode ajudar a explicar algumas das matemáticas por trás da classificação no CART? Estou procurando entender como duas etapas principais acontecem. Por exemplo, eu treinei um classificador CART em um conjunto de dados e usei um conjunto de dados de teste para marcar seu desempenho preditivo, mas: Como é …

14 regression classification data-mining cart

4

Verificando se a melhoria da precisão é significativa

Suponha que eu tenha um algoritmo que classifique as coisas em duas categorias. Eu posso medir a precisão do algoritmo em, digamos, 1000 itens de teste - suponha que 80% deles sejam classificados corretamente. Vamos supor que eu modifique o algoritmo de alguma forma para que 81% das coisas sejam …

14 statistical-significance classification

3

Quais devem ser os parâmetros ideais para o classificador Random Forest?

Atualmente, estou usando a caixa de ferramentas RF no MATLAB para uma classificação binária Conjunto de dados: 50000 amostras e mais de 250 recursos Então, qual deve ser o número de árvores e o recurso selecionado aleatoriamente em cada divisão para cultivar as árvores? outro parâmetro pode afetar muito os …

14 machine-learning classification random-forest

2

Como o Naive Bayes trabalha com variáveis contínuas?

Para meu entendimento (muito básico), Naive Bayes estima probabilidades com base nas frequências de classe de cada recurso nos dados de treinamento. Mas como calcula a frequência de variáveis contínuas? E ao fazer previsões, como classifica uma nova observação que pode não ter os mesmos valores de qualquer observação no …

14 machine-learning classification bayesian naive-bayes

1

Comparação de dois modelos quando as curvas ROC se cruzam

Uma medida comum usada para comparar dois ou mais modelos de classificação é usar a área sob a curva ROC (AUC) como uma maneira de avaliar indiretamente seu desempenho. Nesse caso, um modelo com uma AUC maior é geralmente interpretado como tendo um desempenho melhor do que um modelo com …

13 machine-learning classification roc auc model-evaluation

4

Deveria se preocupar com a multicolinearidade ao usar modelos não lineares?

Digamos que temos um problema de classificação binária com recursos principalmente categóricos. Usamos algum modelo não linear (por exemplo, XGBoost ou Random Forests) para aprendê-lo. Ainda se deve preocupar com a multicolinearidade? Por quê? Se a resposta acima for verdadeira, como combatê-la, considerando que estamos usando esses tipos de modelos …

13 classification random-forest multicollinearity xgboost

3

Como os modelos de aprendizado de máquina (GBM, NN etc.) podem ser usados para análise de sobrevivência?

Eu sei que os modelos estatísticos tradicionais como Cox Riscos Proporcionais de regressão e alguns modelos de Kaplan-Meier podem ser usados para prever dias até a próxima ocorrência de uma falha digamos evento etc. ie análise de sobrevida Questões Como a versão de regressão de modelos de aprendizado de máquina …

13 machine-learning classification survival cox-model kaplan-meier

1

Como treinar camada LSTM de rede profunda

Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero …

13 classification neural-networks deep-learning lstm

2

Usando o pacote de interpolação é possível obter matrizes de confusão para valores-limite específicos?

Eu obtive um modelo de regressão logística (via train) para uma resposta binária e a matriz de confusão logística via confusionMatrixin caret. Isso me fornece a matriz de confusão do modelo logístico, embora não tenha certeza de qual limite está sendo usado para obtê-lo. Como obtenho a matriz de confusão …

13 r classification roc caret confusion-matrix

2

Como um perceptron multiclasse pode funcionar?

Não tenho formação em matemática, mas entendo como o Perceptron simples funciona e acho que entendo o conceito de um hiperplano (imagino-o geometricamente como um plano no espaço 3D que separa duas nuvens de pontos, assim como uma linha separa nuvens de dois pontos no espaço 2D). Mas não entendo …

13 machine-learning classification linear-model multi-class

3

PCA em dados de texto de alta dimensão antes da classificação aleatória da floresta?

Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de dimensão?

13 classification pca random-forest dimensionality-reduction high-dimensional

1

Reproduzindo a tabela 18.1 de "Elementos de aprendizagem estatística"

A Tabela 18.1 nos Elementos de aprendizagem estatística resume o desempenho de vários classificadores em um conjunto de dados de 14 classes. Estou comparando um novo algoritmo com o laço e a rede elástica para esses problemas de classificação em várias classes. Usando glmnetversão 1.5.3 (R 2.13.0) que não seja …

13 classification lasso glmnet

4

Como interpretar uma curva ROC?

Eu apliquei regressão logística aos meus dados no SAS e aqui estão a curva ROC e a tabela de classificação. Estou confortável com as figuras da tabela de classificação, mas não sei exatamente o que a curva roc e a área abaixo dela mostram. Qualquer explicação seria muito apreciada.

13 regression logistic classification roc

3

Máquinas Boltzmann restritas para regressão?

Estou acompanhando a pergunta que fiz anteriormente nos RBMs . Vejo muita literatura descrevendo-os, mas nenhum que realmente fale de regressão (nem mesmo classificação com dados rotulados). Sinto que ele é usado apenas para dados não rotulados. Existem recursos para lidar com a regressão? Ou é tão simples quanto adicionar …

13 regression machine-learning classification neural-networks

Perguntas com a marcação «classification»