Estatísticas e Big Data

A regressão beta (ou seja, GLM com distribuição beta e geralmente a função de link de logit) é frequentemente recomendada para lidar com a resposta, também conhecida como variável dependente, recebendo valores entre 0 e 1, como frações, proporções ou probabilidades: Regressão para um resultado (proporção ou fração) entre 0 …

17 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

Se meu resultado do teste t unilateral for significativo, mas o tamanho da amostra for pequeno (por exemplo, abaixo de 20 ou mais), ainda posso confiar nesse resultado? Caso contrário, como devo lidar e / ou interpretar esse resultado?

17 statistical-significance  t-test  interpretation  sample-size  small-sample 

A definição padrão de um outlier para um gráfico Box e Whisker é pontos fora do intervalo , onde e é o primeiro quartil e é o terceiro quartil dos dados. I Q R = Q 3 - Q 1 Q 1 Q 3{ Q 1 - 1,5 IQ R …

17 outliers  normality-assumption  qq-plot  boxplot 

Vamos supor que temos amostras de duas variáveis ​​aleatórias independentes de Bernoulli, e .B e r ( θ 2 )B e r ( θ1)Ber(θ1)\mathrm{Ber}(\theta_1)B e r ( θ2)Ber(θ2)\mathrm{Ber}(\theta_2) Como provamos que ?( X¯1- X¯2) - ( θ1-θ2)θ1( 1 - θ1)n1+ θ2( 1 - θ2)n2--------------√→dN( 0 , 1 )(X¯1-X¯2)-(θ1-θ2)θ1(1-θ1)n1+θ2(1-θ2)n2→dN(0 0,1)\frac{(\bar X_1-\bar …

17 distributions  sampling  bernoulli-distribution 

Eu tenho dados sobre comportamentos de movimento (tempo gasto dormindo, sedentário e fazendo atividade física) que soma aproximadamente 24 (como em horas por dia). Quero criar uma variável que capture o tempo relativo gasto em cada um desses comportamentos - me disseram que uma transformação isométrica da razão logarítmica conseguiria …

17 r  multivariate-analysis  data-transformation  compositional-data 

Eu gostaria de gerar amostras da região azul definida aqui: A solução ingênua é usar a amostragem por rejeição no quadrado da unidade, mas isso fornece apenas uma eficiência de (~ 21,4%).1 - π/ 41−π/41-\pi/4 Existe alguma maneira de provar com mais eficiência?

17 probability  sampling  monte-carlo  random-generation 

Eu tenho aprendido sobre o modelo de risco proporcional de Cox. Eu tenho muita experiência montagem modelos de regressão logística e modelos para construir intuição Eu estive comparando ajuste usando coxpha partir do R "sobrevivência", com modelos de regressão logística ajuste usando glmcom family="binomial". Se eu executar o código: library(survival) …

17 r  logistic  survival  cox-model  power 

Você e eu decidimos jogar um jogo em que revezamos o lançamento de uma moeda. O primeiro jogador a virar 10 cabeças no total ganha o jogo. Naturalmente, há uma discussão sobre quem deve ir primeiro. Simulações deste jogo mostram que o jogador que vira primeiro ganha 6% a mais …

17 probability  python  binomial  negative-binomial 

Qual é a dimensão VC de uma árvore de decisão com k divide em duas dimensões? Digamos que o modelo é CART e as únicas divisões permitidas são paralelas aos eixos. Portanto, para uma divisão, podemos ordenar 3 pontos em um triângulo e, para qualquer identificação dos pontos, podemos obter …

17 cart  vc-dimension 

Se você tiver meia página para explicar o abandono , como você procederia? Qual é a lógica por trás dessa técnica?

17 neural-networks  deep-learning  regularization  dropout 

Essa pergunta de validação cruzada que pergunta sobre simular uma amostra condicional a uma soma fixa me lembrava de um problema que George Casella me colocou . f(x|θ)f(x|θ)f(x|\theta)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θθ\thetaθ(X1,...,Xn) θ (X1,...,Xn)θ^(x1,…,xn)=argmin∑i=1nlogf(xi|θ)θ^(x1,…,xn)=arg⁡min∑i=1nlog⁡f(xi|θ)\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)θθ\theta(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θ^(X1,…,Xn)θ^(X1,…,Xn)\hat{\theta}(X_1,\ldots,X_n) Por exemplo, considere uma distribuição , com o parâmetro de localização , cuja densidade é Se como …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

Entendo o que é "maldição da dimensionalidade", e resolvi alguns problemas de otimização dimensional e conheço o desafio das possibilidades exponenciais. No entanto, duvido que a "maldição da dimensionalidade" exista na maioria dos dados do mundo real (bem, vamos deixar imagens ou vídeos de lado por um momento, estou pensando …

17 clustering  dimensionality-reduction  high-dimensional 

Para a norma vetorial, a norma L2 ou "distância euclidiana" é a definição amplamente usada e intuitiva. Mas por que a definição de norma "mais usada" ou "padrão" para uma matriz é a norma espectral , mas não a norma de Frobenius (que é semelhante à norma L2 para vetores)? …

17 matrix  linear-algebra 

Estou executando um LASSO que possui alguns preditores de variáveis ​​categóricos e outros contínuos. Eu tenho uma pergunta sobre as variáveis ​​categóricas. O primeiro passo que entendo é dividir cada um deles em manequins, padronizá-los para uma penalização justa e depois regredir. Várias opções surgem para o tratamento das variáveis …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Eu estava lendo sobre o Jeffreys prior na wikipedia: Jeffreys Prior e vi que, após cada exemplo, ele descreve como uma transformação estabilizadora de variância transforma o Jeffreys anterior em um uniforme uniforme. Como exemplo, para o caso Bernoulli, ele afirma que, para uma moeda com cabeça com probabilidade , …

17 bayesian  prior  jeffreys-prior