Estatísticas e Big Data

Atualmente, estou trabalhando em um problema no qual temos um pequeno conjunto de dados e estamos interessados ​​no efeito causal de um tratamento no resultado. Meu orientador me instruiu a realizar uma regressão univariada em cada preditor com o resultado como resposta e, em seguida, a atribuição do tratamento como …

13 regression  multivariate-analysis  model-selection  causality  univariate 

Esse é um pensamento estranho que eu tive ao revisar algumas estatísticas antigas e, por algum motivo, não consigo pensar na resposta. Um PDF contínuo nos diz a densidade dos valores observados em um determinado intervalo. Ou seja, se , por exemplo, a probabilidade de uma realização cair entre e …

13 normal-distribution  maximum-likelihood  pdf 

Sei que essa pode ser uma questão potencialmente ampla, mas fiquei imaginando se existem suposições generalizáveis ​​que indicam o uso de um GAM (modelo aditivo generalizado) sobre um GLM (modelo linear generalizado)? Alguém me disse recentemente que os GAMs devem ser usados ​​apenas quando eu suponho que a estrutura de …

13 regression  generalized-linear-model  gam 

Enviei uma pesquisa para uma amostra de artistas. Uma das questões foi indicar o percentual de renda obtido por: atividade artística, apoio governamental, previdência privada, atividades não relacionadas às artes. Cerca de 65% dos indivíduos responderam de forma que a soma da porcentagem é 100. Os outros não: por exemplo, …

13 survey  bias 

Uma regressão de yyy em xxx não precisa ser causal se houver variáveis ​​omitidas que influenciam xxx e yyy . Mas se não for para variáveis ​​omitidas e erro de medição, uma regressão é causal? Ou seja, se todas as variáveis ​​possíveis forem incluídas na regressão?

13 regression  bias  causality 

Eu tenho tentado aprender quais distribuições usar nos GLMs e estou um pouco confuso sobre quando usar a distribuição normal. Em uma parte do meu livro, ele diz que uma distribuição normal pode ser boa para modelar as notas dos exames. Na próxima parte, ele pergunta qual distribuição seria apropriada …

13 normal-distribution  generalized-linear-model  gamma-distribution  inverse-gaussian-distrib 

Tenho notado que, em muitas aplicações práticas, os métodos baseados no MCMC são usados ​​para estimar um parâmetro, mesmo que o posterior seja analítico (por exemplo, porque os anteriores eram conjugados). Para mim, faz mais sentido usar estimadores MAP em vez de estimadores baseados no MCMC. Alguém poderia apontar por …

13 bayesian  mcmc  posterior 

Estou lendo sobre a melhor seleção de subconjunto no livro Elementos do aprendizado estatístico. Se eu tiver 3 preditores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , crio 23=823=82^3=8 subconjuntos: Subconjunto sem preditores subconjunto com o preditorx1x1x_1 subconjunto com o preditorx2x2x_2 subconjunto com preditor x3x3x_3 subconjunto com preditores x1,x2x1,x2x_1,x_2 subconjunto com preditores x1,x3x1,x3x_1,x_3 subconjunto com preditores …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Eu acho que isso é meio básico, mas digamos que eu tenho uma variável aleatória , a probabilidade P ( X ≤ a ) é a mesma que P ( f ( X ) ≤ f ( a ) ) para qualquer função contínua com valor real f ?XXXP(X≤a)P(X≤a)P(X \leq …

13 probability  distributions 

Em muitos trabalhos que consideram tratamentos e resultados, vejo tabelas (geralmente "tabela 1") do que poderia ser chamado de variáveis ​​incômodas (geralmente demográficas, às vezes condições médicas) com testes de significância e texto como "os grupos eram amplamente semelhantes, não houve diferenças significativas em XXXXX, consulte a Tabela ". Portanto, …

13 equivalence  controlling-for-a-variable 

Se tudo o que você está fazendo é re-amostragem da distribuição empírica, por que não apenas estudar a distribuição empírica? Por exemplo, em vez de estudar a variabilidade por amostragem repetida, por que não quantificar a variabilidade a partir da distribuição empírica?

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

Seja e quatro variáveis ​​aleatórias, tais que , em que são parâmetros desconhecidos. Suponha também que ,Então qual é a verdade?Y1,Y2,Y3Y1,Y2,Y3Y_1,Y_2,Y_3Y4Y4Y_4E(Y1)=θ1−θ3; E(Y2)=θ1+θ2−θ3; E(Y3)=θ1−θ3; E(Y4)=θ1−θ2−θ3E(Y1)=θ1−θ3; E(Y2)=θ1+θ2−θ3; E(Y3)=θ1−θ3; E(Y4)=θ1−θ2−θ3E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3θ1,θ2,θ3θ1,θ2,θ3\theta_1,\theta_2,\theta_3Var(Yi)=σ2Var(Yi)=σ2Var(Y_i)=\sigma^2i=1,2,3,4.i=1,2,3,4.i=1,2,3,4. A. são estimados.θ1,θ2,θ3θ1,θ2,θ3\theta_1,\theta_2,\theta_3 B. é .θ1+θ3θ1+θ3\theta_1+\theta_3 C. é e é a melhor estimativa imparcial linear de .θ1−θ3θ1−θ3\theta_1-\theta_312(Y1+Y3)12(Y1+Y3)\dfrac{1}{2}(Y_1+Y_3)θ1−θ3θ1−θ3\theta_1-\theta_3 D. é .θ2θ2\theta_2 …

13 self-study  estimation  inference 

Existe uma distribuição ou posso trabalhar com outra distribuição para criar uma distribuição como essa na imagem abaixo (desculpas pelos desenhos ruins)? onde eu forneço um número (0,2, 0,5 e 0,9 nos exemplos) para onde deve estar o pico e um desvio padrão (sigma) que torna a função mais ampla …

13 distributions  normal-distribution 

Uma medida comum usada para comparar dois ou mais modelos de classificação é usar a área sob a curva ROC (AUC) como uma maneira de avaliar indiretamente seu desempenho. Nesse caso, um modelo com uma AUC maior é geralmente interpretado como tendo um desempenho melhor do que um modelo com …

13 machine-learning  classification  roc  auc  model-evaluation 

O que é o Deep Learning Bayesiano e como ele se relaciona com as estatísticas Bayesianas tradicionais e com o Deep Learning tradicional? Quais são os principais conceitos e matemática envolvidos? Eu poderia dizer que são apenas estatísticas bayesianas não paramétricas? Quais são suas obras seminais, bem como seus principais …

13 bayesian  deep-learning