Estatísticas e Big Data

Quando soube dos antecedentes de Jeffrey na minha aula de inferência estatística, meus professores fizeram parecer que isso era interessante principalmente por razões históricas, e não porque alguém jamais as usaria. Então, quando fiz a análise de dados bayesiana, nunca nos pediram para usar os antecedentes de Jeffreys. Alguém realmente …

11 bayesian  prior  jeffreys-prior 

Estou pensando em alguma coisa há algum tempo e, como não sou muito proficiente em teoria das probabilidades, pensei que poderia ser um bom lugar para fazer essa pergunta. Isso é algo que me ocorreu nas longas filas do transporte público. Suponha que você esteja em uma rodoviária e saiba …

11 probability 

Se uma equipe de pesquisadores realiza vários testes (hipóteses) em um determinado conjunto de dados, há um volume de literatura afirmando que eles devem usar alguma forma de correção para vários testes (Bonferroni, etc.), mesmo que os testes sejam independentes. Minha pergunta é a seguinte: essa mesma lógica se aplica …

11 hypothesis-testing  multiple-comparisons 

Eu sei que usamos para estimar a variação de uma população. Lembro-me de um vídeo da Khan Academy em que a intuição apresentada foi de que nossa média estimada provavelmente está um pouco abaixo da atual, portanto as distâncias seriam realmente maiores, então dividimos por menos ( vez de ) …

11 variance  sample 

Eu identifiquei vários lugares nos livros onde o GLM é descrito com 5 distribuições (a saber, Gama, Gaussiana, Binomial, Gaussiana Inversa e Poisson). Isso também é exemplificado na função familiar em R. Ocasionalmente, encontro referências ao GLM, onde distribuições adicionais estão incluídas ( exemplo ). Alguém pode explicar por que …

11 r  probability  distributions  generalized-linear-model 

Devo confessar que nunca ouvi falar desse termo em nenhuma das minhas aulas, graduação ou pós-graduação. O que significa uma regressão logística ser bayesiana? Estou procurando uma explicação com uma transição da logística regular para a logística bayesiana semelhante à seguinte: Esta é a equação no modelo de regressão linear: …

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

Estou usando o PyMC3 para executar modelos bayesianos nos meus dados. Eu sou novo na modelagem bayesiana, mas de acordo com algumas postagens em blogs , Wikipedia e QA deste site, parece ser uma abordagem válida usar o fator Bayes e o critério BIC para poder escolher qual modelo melhor …

11 bayesian  model-selection  pymc 

Gostaria de simular um processo de excursão browniana (um movimento browniano condicionado sempre será positivo quando a em ). Como um processo de excursão browniana é uma ponte browniana condicionada a ser sempre positiva, eu esperava simular o movimento de uma excursão browniana usando uma ponte browniana.0 t = 10<t<10<t<10 …

11 r  gaussian-process  brownian 

Estou examinando a seção LAB §6.6 sobre Regressão de Ridge / Lasso no livro 'Uma Introdução à Aprendizagem Estatística com Aplicações em R' de James, Witten, Hastie, Tibshirani (2013). Mais especificamente, estou tentando aplicar o Ridgemodelo scikit-learn ao conjunto de dados 'Hitters' do pacote R 'ISLR'. Eu criei o mesmo …

11 r  machine-learning  scikit-learn  regression 

Eu um modelo linear geral cuja probabilidade de log é .L uy= β0 0+ β1x1+ β2x2+ β3x3,y=β0 0+β1x1+β2x2+β3x3,y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,euvocêeuvocêL_u Agora, desejo testar se os coeficientes são os mesmos. Primeiro, teste geral : a probabilidade de log do modelo reduzido é . Pelo teste da razão de verossimilhança, o modelo completo é …

11 hypothesis-testing 

Isso é semelhante ao Bootstrap: a estimativa está fora do intervalo de confiança Eu tenho alguns dados que representam contagens de genótipos em uma população. Quero estimar a diversidade genética usando o índice de Shannon e também gerar um intervalo de confiança usando o bootstrapping. Notei, no entanto, que a …

11 r  confidence-interval  bootstrap  bias  diversity 

Estou lendo o artigo da teoria de Doug Bates no pacote lme4 de R para entender melhor os detalhes dos modelos mistos e me deparei com um resultado intrigante que eu gostaria de entender melhor sobre o uso da máxima verossimilhança restrita (REML) para estimar a variação . Na seção …

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml 

Aqui, estou perguntando sobre o que outras pessoas costumam fazer para usar o teste do qui quadrado para a seleção de recursos com resultados errados no aprendizado supervisionado. Se bem entendi, eles testam a independência entre cada recurso e o resultado e comparam os valores de p entre os testes …

11 hypothesis-testing  chi-squared  feature-selection  independence  scikit-learn 

Por que é tão incomum encontrar intervalos de confiança relatados em artigos de ciências aplicadas? Trabalho principalmente em Ciência da Computação, mas frequentemente leio artigos de Psicologia (Social), Sociologia e Planejamento Urbano. Não me lembro de ter visto um IC para a mediana relatada. Ao mesmo tempo, enquanto estudava intervalos …

11 median  confidence  reporting 

Por favor, forneça prova de que é convexa∀x>0. Aqui,ϕeQ ( x ) = x2+ x ϕ ( x )Φ ( x )Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀ x > 0∀x>0 0\forall x>0 ϕϕ\phi são o PDF e CDF normal padrão, respectivamente.ΦΦ\mathbf{\Phi} PASSOS TENTADOS 1) MÉTODO DE CÁLCULO Eu tentei o método de cálculo e tenho …

11 probability  self-study