Estatísticas e Big Data

A concorrência da Kaggle A Safe Driver Prediction da Porto Seguro usa a Pontuação Gini Normalizada como métrica de avaliação e isso me deixou curioso sobre os motivos dessa escolha. Quais são as vantagens de usar a pontuação gini normalizada em vez das métricas mais comuns, como AUC, para avaliação?

14 classification  auc  model-evaluation  gini 

Suponha que eu tenha NNN participantes, cada um deles dando uma resposta YYY 20 vezes, 10 em uma condição e 10 em outra. Ajustei um modelo linear de efeitos mistos comparando em cada condição. Aqui está um exemplo reproduzível simulando essa situação usando o pacote em :YYYlme4R library(lme4) fml <- …

14 r  mixed-model  lme4-nlme 

Parece haver muita confusão na comparação entre usar glmnetdentro caretpara procurar uma lambda ideal e usar cv.glmnetpara fazer a mesma tarefa. Muitas perguntas foram feitas, por exemplo: Modelo de classificação train.glmnet vs. cv.glmnet? Qual é a maneira correta de usar glmnet com cursor? Validação cruzada de `glmnet` usando` caret` mas …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Existe uma maneira simples de explicar por que o procedimento de Benjamini e Hochberg (1995) realmente controla a taxa de descoberta falsa (FDR)? Esse procedimento é tão elegante e compacto e, no entanto, a prova do porquê ele funciona sob independência (aparecendo no apêndice do artigo de 1995 ) não …

14 intuition  false-discovery-rate  teaching 

Estou simplificando uma pergunta de pesquisa que tenho no trabalho. Imagine que eu tenho 5 moedas e vamos chamar de chefes um sucesso. São moedas MUITO tendenciosas com probabilidade de sucesso p = 0,1. Agora, se as moedas eram independentes, em seguida, obter a probabilidade de pelo menos 1 cabeças …

14 multivariate-analysis  bernoulli-distribution  copula 

Eu gosto de entender a diferença entre com ou sem modelo de interceptação na regressão logística Existe alguma diferença entre eles, exceto que, com a interceptação, os coeficientes consideram o log (odds ratio) relativo ao grupo de linha de base e sem a interceptação eles consideram o log (odds)? Pelo …

14 regression  logistic  interpretation  model  intercept 

Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua codificação é ideal, dada …

14 entropy  information-theory 

Estou realmente confuso sobre a diferença de significado em relação ao contexto de regressão linear dos seguintes termos: Estatística F R ao quadrado Erro padrão residual Eu encontrei esse webstie que me deu uma grande visão dos diferentes termos envolvidos na regressão linear, no entanto, os termos mencionados acima parecem …

14 linear-model  nonlinear-regression  linear  f-statistic 

O Scikit possui o CalibratedClassifierCV , que permite calibrar nossos modelos em um par X, y específico. Também afirma claramente quedata for fitting the classifier and for calibrating it must be disjoint. Se eles devem ser desarticulados, é legítimo treinar o classificador com o seguinte? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation  scikit-learn  validation  train  calibration 

Pesquisas por aí (digamos, Gallup) mostram um número absurdamente baixo de pessoas em comparação com o tamanho da população (por exemplo, talvez mil pessoas entre centenas de milhões). Agora, para mim, amostrar uma população como um meio de estimar as estatísticas da população faz sentido quando você tem um forte …

14 sampling  sample-size 

Eu entendo o procedimento e o que ele controla. Então, qual é a fórmula para o valor de p ajustado no procedimento BH para comparações múltiplas? Só agora eu percebi que o BH original não produzia valores p ajustados, apenas ajustava a condição de (não) rejeição: https://www.jstor.org/stable/2346101 . Gordon Smyth …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Quero saber se o processo descrito abaixo é válido / aceitável e se existe alguma justificativa disponível. A idéia: algoritmos de aprendizado supervisionado não assumem estruturas / distribuições subjacentes sobre os dados. No final do dia, eles produzem estimativas de pontos. Espero quantificar a incerteza das estimativas de alguma forma. …

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

Eu já vi o operador do(x)do(x)do(x) em toda parte em alguma revisão de literatura que estou fazendo sobre causalidade (veja, por exemplo, esta entrada da wikipedia ). No entanto, não consigo encontrar uma definição formal e geral desse operador. Alguém pode me indicar uma boa referência sobre isso? Estou interessado …

14 references  causality  definition 

Estou tendo alguma dificuldade em entender a interpretação do teste KS de 2 amostras e como ele é diferente de um teste t regular entre 2 grupos. Digamos que eu tenho homens e mulheres fazendo alguma tarefa e coleciono algumas pontuações dessa tarefa. Meu objetivo final é determinar se homens …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Tradicionalmente, usamos modelo misto para modelar dados longitudinais, ou seja, dados como: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 podemos assumir interceptação ou inclinação aleatória para pessoas …

14 machine-learning  data-transformation  random-forest  panel-data  large-data