Estatísticas e Big Data

Estou estudando sobre estimativa de máxima verossimilhança e li que a função de verossimilhança é o produto das probabilidades de cada variável. Por que é o produto? Por que não a soma? Estou tentando pesquisar no Google, mas não consigo encontrar respostas significativas. https://en.wikipedia.org/wiki/Maximum_likelihood

22 maximum-likelihood 

É frequentemente afirmado que os testes de permutação não têm suposições, mas isso certamente não é verdade. Por exemplo, se minhas amostras estão de alguma forma correlacionadas, posso imaginar que permutar seus rótulos não seria a coisa correta a fazer. Só acho que encontrei sobre esse problema esta frase da …

22 hypothesis-testing  permutation-test  resampling 

A declaração A distribuição amostral da variância amostral é uma distribuição qui-quadrado com grau de liberdade igual a , onde n é o tamanho da amostra (dado que a variável aleatória de interesse é normalmente distribuída).n−1n−1n-1nnn Fonte Minha intuição Faz um sentido intuitivo para mim 1) porque um teste do …

22 distributions  normal-distribution  sampling  chi-squared  sample-size 

Esta pergunta foi migrada do Stack Overflow porque pode ser respondida em Validação cruzada. Migrou há 5 anos . Eu li outros tópicos sobre gráficos de dependência parcial e a maioria deles é sobre como você realmente os plota com pacotes diferentes, não como você pode interpretá-los com precisão. Portanto: …

22 r  classification  data-visualization  random-forest  interpretation 

O erro médio absoluto em escala (MASE) é uma medida da precisão da previsão proposta por Koehler & Hyndman (2006) . MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} onde é o erro absoluto médio produzido pela previsão real; enquanto é o erro absoluto médio produzido por uma previsão ingênua (por exemplo, previsão sem alteração …

22 time-series  forecasting  accuracy  mase 

Tenho dados históricos de vendas de uma padaria (diariamente, mais de 3 anos). Agora, quero criar um modelo para prever vendas futuras (usando recursos como dia da semana, variáveis ​​climáticas, etc.). Como devo dividir o conjunto de dados para ajustar e avaliar os modelos? Precisa ser uma divisão cronológica de …

22 cross-validation  partitioning 

Estou um pouco perdido no processo de regressão WLS. Recebi um conjunto de dados e minha tarefa é testar se há uma heterocedência, e, se houver, devo executar a regressão WLS. Eu realizei o teste e encontrei evidências de heterocedência, por isso preciso executar o WLS. Foi-me dito que o …

22 regression  heteroscedasticity  weighted-regression 

Executamos uma regressão logística de efeitos mistos usando a seguinte sintaxe; # fit model fm0 <- glmer(GoalEncoding ~ 1 + Group + (1|Subject) + (1|Item), exp0, family = binomial(link="logit")) # model output summary(fm0) Assunto e Item são os efeitos aleatórios. Estamos obtendo um resultado ímpar, que é o coeficiente e …

22 r  mixed-model  stata  glmm  lme4-nlme 

Quando realizamos experimentos (em amostras pequenas (geralmente o tamanho da amostra por grupo de tratamento é de 7 a 8)) em dois grupos, usamos um teste t para testar a diferença. No entanto, quando realizamos uma ANOVA (obviamente para mais de dois grupos), usamos algo como Bonferroni (LSD / # …

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

Por que é tão comum obter estimativas de probabilidade máxima de parâmetros, mas você praticamente nunca ouve falar das estimativas esperadas de parâmetros de probabilidade (ou seja, com base no valor esperado e não no modo de uma função de probabilidade)? Isso ocorre principalmente por razões históricas ou por razões …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

Sabemos que, no caso de uma distribuição prévia adequada, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . A justificativa usual para esta etapa é que a distribuição marginal de , é constante em relação a e, portanto, pode ser ignorada ao derivar a distribuição posterior.XXXP(X)P(X)P(X)θθ\theta …

22 distributions  bayesian  prior  posterior 

Quando inicio uma análise exploratória em um grande conjunto de dados (muitas amostras, muitas variáveis), geralmente me encontro com centenas de variáveis ​​derivadas e toneladas de gráficos diferentes, e nenhuma maneira real de acompanhar o que está acontecendo para onde. O código acaba como espaguete, porque não há direção desde …

22 eda  project-management 

Eu tenho uma matriz semi-pequena de recursos binários da dimensão 250k x 100. Cada linha é um usuário e as colunas são "tags" binárias de algum comportamento do usuário, por exemplo, "likes_cats". user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 …

22 r  clustering  binary-data 

Li recentemente sobre o teste U de Mann-Whitney. Acontece que, para realizar este teste em R, você realmente precisa executar um teste de Wilcoxon! Minha pergunta: a estatística W de wilcox.testem R é idêntica à estatística U?

22 r  wilcoxon-mann-whitney 

Andrew Gelman, em uma de suas postagens recentes, diz: Não creio que contrafactuais ou resultados potenciais sejam necessários para o paradoxo de Simpson. Digo isso porque é possível configurar o paradoxo de Simpson com variáveis ​​que não podem ser manipuladas ou para as quais manipulações não são diretamente de interesse. …

22 regression  interaction  simpsons-paradox