Estatísticas e Big Data

Eu tenho uma pergunta sobre a distribuição posterior de Dirichlet. Dada uma função de verossimilhança multinomial sabe-se que o posterior é , onde é o número de vezes que vimos observação.Dir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} O que acontece se começarmos a diminuir s para um dado dado fixo ? Parece da forma …

11 dirichlet-distribution 

Quero verificar se realmente entendi a análise fatorial (FA) [clássica, linear] , especialmente as suposições feitas antes (e possivelmente depois) da FA. Alguns dados devem ser inicialmente correlacionados e existe uma possível relação linear entre eles. Após a análise fatorial, os dados são normalmente distribuídos (distribuição bivariada para cada par) …

11 correlation  factor-analysis  assumptions  dimensionality-reduction 

Atualmente, estou participando do curso Uma Introdução ao Gerenciamento de Operações em Coursera.org. Em algum momento do curso, o professor começou a lidar com variações no tempo das operações. A medida que ele usa é o coeficiente de variação , a razão entre o desvio padrão e a média: cv=σμcv=σμc_v …

11 standard-deviation  intuition  coefficient-of-variation 

Alguém pode me explicar o conceito de distância de Mahalanobis? Por exemplo, qual é a distância de Mahalanobis entre dois pontos x e y, e especialmente, como é interpretada para reconhecimento de padrões?

11 machine-learning  mathematical-statistics  distance-functions 

A aplicação direta dos métodos de bootstrap ao teste de hipóteses é estimar o intervalo de confiança da estatística de teste calculando-o repetidamente nas amostras com bootstrap (deixe que a estatística amostrada no bootstrap seja chamada ). Rejeitamos se o parâmetro hipotético (que geralmente é igual a 0) estiver fora …

11 hypothesis-testing  bootstrap 

Eu encontrei um artigo que introduz a versão do boxplot multidimensional (bivariada aqui) - um bagplot. O que é exatamente esse bagplot? Eu posso ver a série de polígonos aninhados com base em vértices, um desses polígonos sendo declarado como um lote de bagagens. Qual é a ideia da construção …

11 data-visualization  bivariate  boxplot 

Gostaria de testar em que regressão se encaixa melhor nos meus dados. Minha variável dependente é uma contagem e possui muitos zeros. E eu precisaria de ajuda para determinar qual modelo e família usar (poisson ou quasipoisson ou regressão de poisson inflada a zero) e como testar as suposições. Regressão …

11 r  count-data  zero-inflation  poisson-regression 

Gostaria de saber se alguém pode explicar qual é a principal diferença entre as confiabilidade ômega e alfa? Entendo que uma confiabilidade ômega é baseada no modelo de fatores hierárquicos, como mostrado na figura a seguir, e o alfa usa correlações médias entre itens. O que não entendo é, em …

11 reliability  scales  psychometrics 

Olá, estou fazendo um curso de pós-graduação em estatística e abordamos estatísticas de testes e outros conceitos. No entanto, muitas vezes sou capaz de aplicar as fórmulas e desenvolver uma espécie de intuição sobre como as coisas funcionam, mas muitas vezes fico com a sensação de que talvez se eu …

11 r  hypothesis-testing  sas  simulation  computational-statistics 

Quero visualizar os resultados de um agrupamento (produzido com protoclust{protoclust}) criando gráficos de dispersão para cada par de variáveis ​​usadas para classificar meus dados, colorindo por classes e sobrepondo as elipses para o intervalo de confiança de 95% para cada uma das classes (para inspecionar quais classes de elipses se …

11 r  confidence-interval  ggplot2  scatterplot 

Estou tentando aplicar uma série temporal aos dados amostrados trimestralmente (biomassa animal) durante um período de 10 anos com 3 repetições por trimestre. Então, 40 datas, mas 120 observações totais. Eu li até SARIMA'a na análise de séries temporais de Shumway e Stoffer e suas aplicações, bem como vasculhei Woodward, …

11 r  time-series 

Eu tenho dados que tem a forma . Para a estimativa deβ1aβ3, utilizo as fórmulas deste artigo:John Fox - Regressão não linear e mínimos quadrados não lineares Neste artigo, oβ1é estimado observando os dados. Se eu fizer isso, funciona bem, mesmo que eu tenha apenas três pontos. A partir disso, …

11 logistic  estimation 

Quais são as aplicações ou vantagens das técnicas de regressão de redução de dimensão (DRR) ou redução de dimensionalidade supervisionada (SDR) sobre as técnicas de regressão tradicionais (sem nenhuma redução de dimensionalidade)? Essa classe de técnicas encontra uma representação em baixa dimensão do conjunto de recursos para o problema de …

11 regression  machine-learning  pca  dimensionality-reduction 

Pedimos a 60 pessoas que listassem o maior número possível de franquias de restaurantes em Atlanta. A lista geral incluía mais de 70 restaurantes, mas eliminamos os mencionados por menos de 10% das pessoas, deixando-nos 45. Para esses 45, calculamos a proporção de informantes que listaram a franquia e estamos …

11 r  generalized-linear-model 

Podemos escrever o teorema de Bayes como p(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta} onde é o posterior, é a distribuição condicional e é o anterior.p(θ|x)p(θ|x)p(\theta|x)f(X|θ)f(X|θ)f(X|\theta)p(θ)p(θ)p(\theta) ou p(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta} onde é o posterior, é a função de probabilidade e é o anterior.p(θ|x)p(θ|x)p(\theta|x)L(θ|x)L(θ|x)L(\theta|x)p(θ)p(θ)p(\theta) Minha pergunta é Por que a análise bayesiana é …

11 bayesian  likelihood