Estatísticas e Big Data

Eu tenho uma pergunta sobre a atualização bayesiana. Em geral, a atualização bayesiana refere-se ao processo de obter o posterior de uma distribuição anterior de crenças. Alternativamente, pode-se entender o termo usando a parte posterior do primeiro passo como entrada anterior para cálculos adicionais. A seguir, é apresentado um exemplo …

7 bayesian 

Com base na sua experiência, você tem alguma sugestão para representar matrizes de correlação variáveis ​​no tempo? Eu olhei para /quant/1565/how-do-i-graphically-represent-the-evolution-of-a-covariance-matrix-over-time , mas não consegui encontrar nenhum bom artigo. Estou fazendo essa pergunta porque sou bastante novo no campo da análise de dados, e o único livro que li até …

7 correlation  data-visualization 

Eu tenho dados que compreendem distâncias entre pontos sucessivos em uma linha (vetor 1D): Tradicionalmente, no meu campo, esses dados são equipados com uma distribuição gama, na tentativa de descrever a distribuição dos pontos; no entanto, em alguns casos, acho que uma distribuição Weibull se encaixa melhor (maior probabilidade com …

7 distributions  gamma-distribution  weibull 

Considere um conjunto de dados de treinamento XXX, um modelo probabilístico parametrizado por θθ\thetae uma prévia P( θ )P(θ)P(\theta). Para um novo ponto de dadosx∗x∗x^*, podemos calcular P(x∗)P(x∗)P(x^*) usando: uma abordagem totalmente bayesiana: a distribuição preditiva posterior P(x∗| X) = ∫P( θ | X) P(x∗| θ)dθP(x∗|X)=∫P(θ|X)P(x∗|θ)dθP(x^* | X) = \int …

7 bayesian  maximum-likelihood  posterior 

Uma pergunta foi postada aqui (agora excluída) em relação à estimativa dos parâmetros da distribuição triangular , que possui densidade f( x ; a , b , c ) =⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪0 02 ( x - a )( b - a ) ( c - a )2 ( b - x )( …

7 estimation  maximum-likelihood  optimization  method-of-moments  triangular-distribution 

Então, vamos comparar duas distribuições normais Do this x times: runs <- 100000 a.samples <- rnorm(runs, mean = 5) b.samples <- rbeta(runs, mean = 0) mc.p.value <- sum(a.samples > b.samples)/runs Os valores mc.p. abaixo de nosso alfa (0,05) dividido por x dariam a taxa de erro do tipo 1. Nosso …

7 r  hypothesis-testing  monte-carlo 

A estimativa de regressão tradicional da crista é β^ridge=(XTX+λI)−1XTYβ^ridge=(XTX+λI)−1XTY \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y que vem da adição do termo de penalidade λ||β||22λ||β||22\lambda ||\beta||^2_2. Tenho lutado para encontrar literatura sobre a regularização em direção a um valor específico . Em particular, observei um modelo de regressão de cumeeira que …

7 regression  references  least-squares  ridge-regression 

Eu tenho duas amostras. Observando suas densidades, uma parece simétrica e a outra, de alguma distribuição da direita. Eu gostaria de testar se os dois não têm a mesma assimetria (ignorando questões de inferência seletiva aqui). Meu plano é pegar uma replicação de bootstrap das duas amostras, calcular a diferença …

7 r  hypothesis-testing  bootstrap  skewness 

Eu tenho uma distribuição binomial com parâmetros e , e a estimativa para a média da minha distribuição é N . Os valores de e são tais que podemos usar a aproximação gaussiana para estimar o da média como .O problema é que eu já estimei , então é na …

7 confidence-interval  binomial  beta-binomial  credible-interval 

Suponha que eu tenha dados de uma certa quantidade , dados por . Agora, eu pego o primeiro dígito de cada quantidade e quero estudar a relação entre a distribuição empírica dos primeiros dígitos onde é a frequência normal de ocorrência de como o primeiro dígito, e a lei de …

7 hypothesis-testing  confidence-interval  multinomial  sequential-analysis  real-time 

Um modelo de regressão linear regular é , onde são coeficientes desconhecidos e \ varepsilon é ruído gaussiano com média zero e variação constante. Estou construindo um modelo em que o termo de erro \ varepsilon tem duas complicações:y=c′x+εy=c′x+εy = c'x + \varepsiloncccεε\varepsilonεε\varepsilon Sua distribuição não é normal. A variação …

7 regression 

Explique por que não pode haver variável aleatória para a qual , onde M é a função geradora de momento.Mx(t)=t1−tMx(t)=t1−tM_x(t) = \frac{t}{1-t} Tentativa: tentei escrever como a soma de uma série infinita, então de a . Sabemos que a fórmula para um momento que gera a função é . Portanto, …

7 self-study  mgf 

Estou usando o pacote Causal Impact em R para inferir o efeito causal de uma intervenção em alguns dados altamente correlacionados e sazonais. Especificamente, recebi 17 dias de dados por hora, a intervenção ocorrendo no final do dia 13. Tenho dois conjuntos de dados de controle que não são afetados …

7 r  intervention-analysis  causalimpact 

Eu ouço muito os termos fatores preditivos e prognósticos (geralmente no contexto da bioestatística) e não tenho muita certeza de qual é a diferença entre eles. Alguém poderia por favor dar uma definição de cada um, um exemplo dos dois e, finalmente, como eles são diferentes um do outro?

7 biostatistics  definition 

Estou recebendo o erro "Novos níveis de fatores não presentes nos dados de treinamento". Mas verifiquei os nlevels e a classe de todas as colunas em desenvolvimento, bem como os dados de teste, e eles são os mesmos. Alguma explicação plausível?

7 r  machine-learning  random-forest  many-categories