Estatísticas e Big Data

Existe um nome para este tipo de gráfico abaixo (proveniente do Ministério de Negócios, Inovação e Emprego da Nova Zelândia , para quem trabalho, mas não estava envolvido na criação dessa trama)? Consiste em retângulos em que a área é proporcional a uma variável e se assemelha a uma espécie …

9 data-visualization  pie-chart 

Estou comparando a distrubuição de diferentes grupos usando as parcelas de violino, no entanto, a maioria dos recursos online que encontrei estão relacionados apenas a como fazer as parcelas e uma interpretação muito básica dos resultados (a variação mediana, os dados são agrupados ou não). Estou procurando exemplos detalhados que …

9 data-visualization 

Eu tenho dados rotulados de 2 classes nos quais estou executando a classificação usando vários classificadores. E os conjuntos de dados são bem equilibrados. Ao avaliar o desempenho dos classificadores, preciso levar em consideração a precisão do classificador em determinar não apenas os verdadeiros positivos, mas também os verdadeiros negativos. …

9 classification  roc  model-evaluation  sensitivity-specificity 

Eu estou dando minha primeira aula neste outono (Introdução à Bioestatística). Alguém tem alguma sugestão para ensinar melhor estatística? Talvez algum exemplo que você gostaria que seu primeiro professor tivesse usado? Estou usando Princípios de Bioestatística de Pagano e Gauvreau. EDITAR DETALHES Esta classe é uma aula on-line que se …

9 biostatistics  teaching 

Em meus dados, eu tenho uma variável de classe, denominado . Os valores desta variável de classe são (binário). Quase todas as observações de são 0 (perto de 100%, mais precisamente, 97%). Eu gostaria de fazer um teste de "desempenho" em diferentes modelos de classificação (pode ser precisão). O que …

9 classification  binary-data  model-evaluation 

Há mais fenômenos aos quais o design experimental pode ser aplicado do que estratégias alternativas válidas de design. Isso deve ser verdade, embora haja muitas maneiras de projetar adequadamente um experimento. Quais são os melhores "problemas" que realmente demonstram o valor e as nuances dos diferentes tipos de projeto ideal …

9 experiment-design  references  optimal 

Encontrei este artigo em que diz que na amostra de Gibbs todas as amostras são aceitas. Eu estou um pouco confuso. Como é que, se toda amostra que ela aceita, converge para uma distribuição estacionária? Em geral, o algoritmo de metrópole é aceito como min (1, p (x *) / …

9 mcmc  gibbs  metropolis-hastings 

Estou tentando usar o SMOTE para corrigir o desequilíbrio no meu problema de classificação de várias classes. Embora o SMOTE funcione perfeitamente no conjunto de dados da íris conforme o documento de ajuda do SMOTE, ele não funciona em um conjunto de dados semelhante. Aqui está a aparência dos meus …

9 r  classification  unbalanced-classes  oversampling 

Estou pensando em um problema que é prever o log (gasto) de um cliente usando regressão linear. Estou pensando em quais recursos usar como entrada e me perguntando se seria bom usar o percentil de uma variável como entradas. Por exemplo, eu poderia usar a receita das empresas como insumo. …

9 regression  linear-model  quantiles  predictor 

Estou usando uma versão padrão da regressão logística para ajustar minhas variáveis ​​de entrada às variáveis ​​de saída binária. No entanto, no meu problema, as saídas negativas (0s) são muito superiores às saídas positivas (1s). A proporção é 20: 1. Então, quando eu treino um classificador, parece que mesmo os …

9 regression  logistic  weighted-regression 

Eu tenho modelos como este: require(nlme) set.seed(123) n <- 100 k <- 5 cat <- as.factor(rep(1:k, n)) cat_i <- 1:k # intercept per kategorie x <- rep(1:n, each = k) sigma <- 0.2 alpha <- 0.001 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) plot(x, y) m1 …

9 r  mixed-model  aic 

Talvez essa seja uma pergunta tola, mas, ao gerar um modelo com sinal de intercalação e usar algo como LOOCVou (ainda mais direto ao ponto) LGOCV, qual é o benefício de dividir dados em conjuntos de trens e testes, se é basicamente isso que a etapa de validação cruzada faz …

9 r  machine-learning  cross-validation  caret 

Estou tentando entender como a LDA se encaixa em outras técnicas de aprendizado supervisionado. Eu já li alguns dos posts do LDA aqui sobre o LDA. Eu já estou familiarizado com o perceptron, mas apenas aprendendo LDA agora. Como o LDA se encaixa na família de algoritmos de aprendizado supervisionado? …

9 machine-learning  classification  discriminant-analysis  supervised-learning 

Estou executando uma análise de regressão hierárquica e tenho algumas pequenas dúvidas: Calculamos o termo de interação usando as variáveis ​​centralizadas? Temos que centralizar TODAS as variáveis ​​contínuas que temos no conjunto de dados, exceto a variável dependente? Quando precisamos registrar algumas variáveis ​​(porque o sd é muito maior que …

9 interaction  multicollinearity  centering 

Digamos que eu executei a mesma regressão para 100 indivíduos diferentes separadamente. Meus coeficientes de interesse são positivos (e bastante diferentes um do outro), mas estatisticamente insignificantes em todos os 100 resultados (digamos que todo valor-p = 0,11). Existe uma maneira de combinar esses valores de p para concluir "pelo …

9 hypothesis-testing  multiple-comparisons