Estatísticas e Big Data

Qual é a diferença entre um problema de várias classes e um problema de várias etiquetas?

52 classification  clustering  terminology  multi-class  multilabel 

Sempre que a regularização é usada, ela é frequentemente adicionada à função de custo, como na função de custo a seguir. Isso faz um sentido intuitivo para mim, pois minimiza o função de custo significa minimizar o erro (o termo esquerdo) e minimizar as magnitudes dos coeficientes (o termo correto) …

51 regularization 

Alguns materiais que eu vi sobre aprendizado de máquina disseram que é uma má idéia abordar um problema de classificação por meio de regressão. Mas acho que sempre é possível fazer uma regressão contínua para ajustar os dados e truncar a previsão contínua para produzir classificações discretas. Então, por que …

51 regression  machine-learning  classification 

Eu tenho os dados de um teste que poderia ser usado para distinguir células normais e tumorais. De acordo com a curva ROC, parece bom para esse propósito (a área sob a curva é 0,9): Minhas perguntas são: Como determinar o ponto de corte para este teste e seu intervalo …

51 r  data-visualization  confidence-interval  roc  ggplot2 

Eu já vi vários tratamentos teóricos de gráficos, como a Gramática dos Gráficos . Mas não vi nada equivalente em relação às tabelas. Ao longo do tempo, desenvolvi um modelo informal de boas práticas em design de tabelas. No entanto, eu gostaria de poder fornecer uma boa referência aos alunos. …

51 tables 

Em seu artigo de 1984 "Statistics and Causal Inference" , Paul Holland levantou uma das questões mais fundamentais em estatística: O que um modelo estatístico pode dizer sobre causalidade? Isso levou ao seu lema: SEM CAUSA SEM MANIPULAÇÃO que enfatizava a importância de restrições em torno de experimentos que consideram …

51 causality 

Um filtro de partículas e um filtro de Kalman são estimadores Bayesianos recursivos . Muitas vezes encontro filtros Kalman em meu campo, mas raramente vejo o uso de um filtro de partículas. Quando um seria usado sobre o outro?

51 bayesian  particle-filter  kalman-filter 

Por que e quando devemos usar as Informações Mútuas sobre medições de correlação estatística como "Pearson", "spearman" ou "Kendall's tau"?

51 correlation  mathematical-statistics  mutual-information 

Eu sei, isso pode parecer estranho, mas ouça. No Stack Overflow e aqui obtemos votos nas postagens, tudo isso é armazenado em forma de tabela. Por exemplo: ID da postagem ID do eleitor tipo de voto datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 …

51 time-series  hypothesis-testing  data-mining  markov-process  censoring 

Breve definição de reforço : Um conjunto de alunos fracos pode criar um único aluno forte? Um aluno fraco é definido como um classificador que é apenas ligeiramente correlacionado com a classificação verdadeira (pode rotular exemplos melhor do que suposições aleatórias). Breve definição de floresta aleatória : Florestas aleatórias crescem …

51 machine-learning  random-forest  boosting  bagging 

Por favor, explique-me a diferença entre a estimativa bayesiana e a estimativa de máxima verossimilhança?

50 bayesian  maximum-likelihood 

Como a RF pode lidar com a não linearidade, mas não pode fornecer coeficientes, seria aconselhável usar a floresta aleatória para reunir os recursos mais importantes e depois conectá-los a um modelo de regressão linear múltipla para obter seus coeficientes?

50 regression  machine-learning  feature-selection  random-forest  regression-strategies 

Fiquei me perguntando se existe uma maneira de dizer a probabilidade de algo falhar (um produto) se tivermos 100.000 produtos em campo por 1 ano e sem falhas? Qual é a probabilidade de um dos próximos 10.000 produtos vendidos falhar?

50 probability  survival  binomial 

Estou lidando com dados lineares com valores discrepantes, alguns dos quais estão a mais de 5 desvios-padrão da linha de regressão estimada. Estou procurando uma técnica de regressão linear que reduz a influência desses pontos. Até agora, o que fiz foi estimar a linha de regressão com todos os dados, …

50 regression  linear-model  outliers  robust  fused-lasso 

Com base neste post , quero digerir Elements of Statistical Learning. Felizmente, está disponível gratuitamente e comecei a lê-lo. Eu não tenho conhecimento suficiente para entender isso. Você pode recomendar um livro que seja uma introdução melhor aos tópicos do livro? Espero que algo que me dê o conhecimento necessário …

50 machine-learning  references