Estatísticas e Big Data

Estou curioso para por que geralmente há apenas regularização de normas e . Existem provas de por que estas são melhores?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Eu tenho tentado aprender métodos do MCMC e me deparei com amostragens de Metropolis Hastings, Gibbs, Importance e Rejection. Embora algumas dessas diferenças sejam óbvias, ou seja, como Gibbs é um caso especial de Metropolis Hastings quando temos todos os condicionais, outras são menos óbvias, como quando queremos usar MH …

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor …

36 cross-validation  model-selection  ridge-regression 

Esta é provavelmente uma pergunta amadora, mas estou interessado em como os cientistas criaram a forma da função de densidade de probabilidade de distribuição normal? Basicamente, o que me incomoda é que, para alguém, talvez seja mais intuitivo que a função de probabilidade dos dados normalmente distribuídos tenha a forma …

36 normal-distribution  history 

Estou tentando entender a diferença estatística entre análise discriminante linear e regressão logística . Estou certo de que, para um problema de classificação de duas classes , o LDA prevê duas funções de densidade normal (uma para cada classe) que cria um limite linear onde elas se cruzam, enquanto a …

36 regression  logistic  classification  discriminant-analysis 

EffectsO pacote fornece uma maneira muito rápida e conveniente de plotar resultados lineares de modelo de efeito misto obtidos através do lme4pacote . A effectfunção calcula intervalos de confiança (ICs) muito rapidamente, mas quão confiáveis são esses intervalos de confiança? Por exemplo: library(lme4) library(effects) library(ggplot) data(Pastes) fm1 <- lmer(strength ~ …

36 r  mixed-model  confidence-interval  effects  lme4-nlme 

Este artigo " As probabilidades, atualizadas continuamente" do NY Times chamou minha atenção. Para ser breve, afirma que [Estatísticas Bayesianas] está se mostrando especialmente útil na abordagem de problemas complexos, incluindo pesquisas como a que a Guarda Costeira usou em 2013 para encontrar o pescador desaparecido, John Aldridge (embora ainda …

36 hypothesis-testing  statistical-significance  bayesian  p-value  reproducible-research 

O denominador do estimador de variância (imparcial) é pois existem observações e apenas um parâmetro está sendo estimado.nn−1n−1n-1nnn V(X)=∑ni=1(Xi−X¯¯¯¯)2n−1V(X)=∑i=1n(Xi−X¯)2n−1 \mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1} Da mesma forma, pergunto-me por que o denominador de covariância não deveria ser quando dois parâmetros estão sendo estimados?n−2n−2n-2 Cov(X,Y)=∑ni=1(Xi−X¯¯¯¯)(Yi−Y¯¯¯¯)n−1Cov(X,Y)=∑i=1n(Xi−X¯)(Yi−Y¯)n−1 \mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}

36 self-study  variance  covariance  descriptive-statistics  unbiased-estimator 

Estou tentando descobrir qual método de validação cruzada é melhor para minha situação. Os dados a seguir são apenas um exemplo para solucionar o problema (em R), mas meus Xdados reais ( xmat) são correlacionados entre si e em graus diferentes com a yvariável ( ymat). Forneci o código R, …

36 r  regression  cross-validation  linear-model 

Estou aprendendo a análise de sobrevivência deste post na UCLA IDRE e fui enganado na seção 1.2.1. O tutorial diz: ... se se sabia que os tempos de sobrevivência eram distribuídos exponencialmente , então a probabilidade de observar um tempo de sobrevivência ... Por que se supõe que os tempos …

36 distributions  survival  assumptions  exponential 

Estou tentando criar um ajuste polinomial de segunda ordem para alguns dados que tenho. Digamos que eu plotei este ajuste com ggplot(): ggplot(data, aes(foo, bar)) + geom_point() + geom_smooth(method="lm", formula=y~poly(x, 2)) Eu recebo: Portanto, um ajuste de segunda ordem funciona muito bem. Eu calculo com R: summary(lm(data$bar ~ poly(data$foo, 2))) …

36 r  regression  interpretation  regression-coefficients 

Eu tenho dados de 3 grupos de biomassa de algas ( , , ) que contêm tamanhos de amostra desiguais ( , , ) e gostaria de comparar se esses grupos são da mesma população.B C n A = 15 n B = 13 n C = 12AAABBBCCCnA=15nA=15n_A=15nB=13nB=13n_B=13nC=12nC=12n_C=12 A ANOVA …

36 r  anova  data-transformation  heteroscedasticity 

Benjamini e Hochberg desenvolveram o primeiro (e ainda mais utilizado, eu acho) método para controlar a taxa de falsas descobertas (FDR). Quero começar com um monte de valores P, cada um para uma comparação diferente, e decidir quais são baixos o suficiente para serem chamados de "descoberta", controlando o FDR …

36 multiple-comparisons  non-independent  false-discovery-rate 

Digamos que temos uma variável dependente com poucas categorias e conjunto de variáveis ​​independentes. YYY Quais são as vantagens da regressão logística multinomial sobre o conjunto de regressões logísticas binárias (ou seja, esquema de um vs resto )? Por conjunto de regressão logística binária, quero dizer que, para cada categoria …

36 logistic  categorical-data  multinomial 

Qual é a melhor técnica para calcular um intervalo de confiança de um experimento binomial, se sua estimativa é de que (ou similarmente ) e o tamanho da amostra são relativamente pequenos, por exemplo ?p=0p=0p=0p=1p=1p=1n=25n=25n=25

36 confidence-interval  binomial