Estatísticas e Big Data

Alguém poderia explicar por que Richard McElreath diz que o teste exato de Fisher raramente é usado adequadamente em seu excelente livro de introdução bayesiano ( Statistical Repensing )? Para referência, o contexto está abaixo: Por que os testes não são suficientes para pesquisas inovadoras? Os procedimentos clássicos da estatística …

7 hypothesis-testing  bayesian  fishers-exact 

Existem várias versões dos algoritmos adaptáveis ​​do Metropolis Hastings. Um é implementado na função Metro_Hastingsdo Rpacote MHadaptive, veja aqui . A referência listada lá, Spiegelhalter et al. (2002), infelizmente, não contém uma descrição de nenhum algoritmo adaptativo, até onde posso ver. No entanto, o Metro_Hastingsalgoritmo funciona muito bem na amostragem …

7 r  mcmc  metropolis-hastings 

Este é um post cruzado do Math SE . Eu tenho alguns dados (tempo de execução de um algoritmo) e acho que segue uma lei de energia yr e g= k xumayreg=kxumay_\mathrm{reg} = k x^a Eu quero determinar e . O que fiz até agora é fazer uma regressão linear …

7 regression  fitting  logarithm  power-law 

Eu tenho uma lista de produtos, incluindo variáveis ​​como o nome do produto (como aparece no recibo) e o comerciante onde o produto foi comprado. Eu tenho muitas delas classificadas manualmente em um grupo fixo de categorias (por exemplo, bebidas alcoólicas, legumes, carne, etc.). Os dados são, como sempre, barulhentos. …

7 machine-learning  classification 

Fiz um teste de soma de Wilcoxon para descobrir se há alguma diferença na distribuição da variável para dois grupos. Os resultados do teste mostraram que a diferença existe.X1X1X_1 I, no entanto, suspeita que há uma variável de confusão , que está a provocar esta diferença.X2X2X_2 Como posso controlar o …

7 nonparametric  wilcoxon-mann-whitney  confounding 

Em Skeptics.StackExchange , uma resposta cita um estudo sobre hipersensibilidade eletromagnética: McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo e Marino, Hipersensibilidade eletromagnética: evidências de uma nova síndrome neurológica neurológica International Journal of Neuroscience, 00, 1-7, 2011, DOI: 10.3109 / 00207454.2011.608139. Eu sou duvidoso sobre algumas das estatísticas usadas e gostaria de ter …

7 statistical-significance  chi-squared 

Meu professor afirmou que tem uma distribuição normal. A alegação foi feita com base no Teorema do Limite Central: como p \ to \ infty , temos um Normal (p \ mu, p ^ 2 \ sigma ^ 2) . Não vejo como isso é válido nem verdadeiro, pois essa …

7 normal-distribution  chi-squared  convergence  central-limit-theorem 

Aqui está o que meu entendimento é: Valor p - probabilidade de encontrar os resultados observados, ou mais extremos, quando a hipótese nula (H0) de uma questão de estudo for verdadeira ou seja, valor-p . Agora, quando o valor de p está abaixo de um certo limite ( ), rejeitamos …

7 hypothesis-testing  bayesian  p-value  frequentist  fallacy 

Atualmente, estou criando um gráfico de caixa. Sou novo no campo das estatísticas e, especialmente, das parcelas. Encontre a figura a seguir: No eixo y, encontre o número de mensagens. Tenho problemas para entender o que vejo lá. A plotagem é criada pelo Matlab automaticamente. Como eu sei, deve haver …

7 descriptive-statistics  boxplot 

É possível executar uma regressão em que você possui uma variável de recurso desconhecida / desconhecida? Diga que eu tenho yn=uma0 0+uma1 1x1 1+uma2x2+uma3x3yn=a0+a1x1+a2x2+a3x3y_n = a_0 + a_1 x_1 + a_2 x_2 + a_3 x_3 mas eu não / não posso medir o valor da variável do recurso x3x3x_3. Ainda …

7 regression  machine-learning  stochastic-processes 

Por que nos preocupamos com o poder de um teste de hipótese se não vivemos mais em uma época em que os computadores são lentos e é muito caro iniciar / executar um teste de permutação em algo que também não é paramétrico? A análise de potência é irrelevante se …

7 bootstrap  power-analysis  power 

Li recentemente o seguinte parágrafo na Wikipedia : Intervalos bayesianos tratam seus limites como fixos e o parâmetro estimado como uma variável aleatória , enquanto intervalos freqüentes de confiança tratam seus limites como variáveis ​​aleatórias e o parâmetro como um valor fixo. No entanto, não tenho certeza se isso é …

7 bayesian  empirical-bayes 

Toda arquitetura de autoencoder que eu vi tem uma arquitetura semelhante, principalmente porque o decodificador é exatamente o inverso do codificador. Se o objetivo do autoencodificador é o aprendizado de recursos de baixa dimensão, por que o decodificador não é simples? Um exemplo seria uma transformação linear onde é uma …

7 neural-networks  dimensionality-reduction  autoencoders 

Uma das suposições em um modelo é a dependência condicional entre variáveis ​​aleatórias na distribuição anterior conjunta. Considere o seguinte modelo, p(a,b|X)∝p(X|a,b)p(a,b)p(a,b|X)∝p(X|a,b)p(a,b)p(a,b|X) \propto p(X|a,b)p(a,b) Agora suponha uma suposição de independência para o anterior .p(a,b)=p(a)p(b)p(a,b)=p(a)p(b)p(a,b) = p(a)p(b) Essa suposição implica que o posterior também possui a seguinte dependência condicional? p(a|X)p(b|X)∝p(X|a,b)p(a)p(b)p(a|X)p(b|X)∝p(X|a,b)p(a)p(b)p(a|X)p(b|X) \propto …

7 bayesian  inference 

Como convenção, temos muitos estudos cujo nível de significância é e um poder de . No entanto, é extremamente raro encontrar um estudo cujo com um poder de .0,050,050.050,80,80.8α = 0,2α=0,2\alpha = 0.20,950,950.95 Pelo que entendi, após a realização de um experimento, o nível de significância não importa se o …

7 hypothesis-testing  statistical-significance  power-analysis  methodology  philosophical