Estatísticas e Big Data

Vamos ser iid variáveis aleatórias discretas uniformes sobre (0,1) e suas estatísticas de ordem seja .U1,…,UnU1,…,UnU_1, \ldots, U_nnnnU(1),…,U(n)U(1),…,U(n)U_{(1)}, \ldots, U_{(n)} Defina para com .Di=U(i)−U(i−1)Di=U(i)−U(i−1)D_i=U_{(i)}-U_{(i-1)}i=1,…,ni=1,…,ni=1, \ldots, nU0=0U0=0U_0=0 Estou tentando descobrir a distribuição conjunta de e sua distribuição marginal e possivelmente seus primeiros momentos. Alguém pode dar alguma dica sobre isso. Você …

9 probability  distributions  order-statistics  joint-distribution 

Estou produzindo um script para criar exemplos de inicialização do catsconjunto de dados (do -MASS-pacote). Seguindo o livro de Davidson e Hinkley [1], executei uma regressão linear simples e adotei um procedimento não paramétrico fundamental para o bootstrapping a partir de observações da iid, ou seja, pares de reamostragem . …

9 r  bootstrap  fixed-effects-model 

Eu tenho um grande conjunto de preditores (mais de 43.000) para prever uma variável dependente que pode assumir 2 valores (0 ou 1). O número de observações é superior a 45.000. A maioria dos preditores são unigramas, bigramas e trigramas de palavras, portanto há um alto grau de colinearidade entre …

9 r  multiple-regression  lasso  glmnet 

Eu tenho pesquisado o uso da regressão linear bayesiana, mas cheguei a um exemplo do qual estou confuso. Dado o modelo: y=βX+ϵy=βX+ϵ{\bf y} = {\bf \beta}{\bf X} + \bf{\epsilon} Supondo que e um ,p ( β , φ ) α 1ϵ∼N(0,ϕI)ϵ∼N(0,ϕI){\bf \epsilon} \sim N(0, \phi I)p(β,ϕ)∝1ϕp(β,ϕ)∝1ϕp(\beta, \phi) \propto \frac{1}{\phi} Como …

9 regression  bayesian  multiple-regression 

Usando plot.rqo quantregpacote em R, podemos plotar a distribuição de estimativa do coeficiente e obter algo como isto: Quais são as linhas vermelhas pontilhadas? A pesquisa extensiva revelou que a do meio é a média de todas as 99 estimativas, mas ainda não sabemos sobre a linha vermelha pontilhada.

9 r  data-visualization  quantile-regression 

Estou tendo um pouco de confusão. Eu estava lendo este artigo, onde explicava que a técnica de ensacamento reduz bastante a variação e apenas aumenta ligeiramente o viés. Eu não entendi como isso reduz a variação. Eu sei o que é variação e preconceito. Viés é a incapacidade do modelo …

9 variance  bias  bagging 

Eu li inúmeras páginas no google e não consigo encontrar uma resposta satisfatória. Também li http://castatistics.wikispaces.com/file/view/normal+der..pdf , mas duvido que essa tenha sido a motivação original para a função gaussiana. Atualmente, sou estudante de graduação e meu livro apenas diz que a função f (x) = ae - (x - …

9 normal-distribution 

Preciso explicar a intuição por trás do que a ANOVA está fazendo com uma pessoa não técnica. Existe um visual que explique a ideia? Um visual que ilustra a ideia-chave no contexto de uma ANOVA unidirecional com talvez três níveis de fator pode ser útil? Suponhamos que a pessoa tenha …

9 anova  intuition 

Estou estimando várias matrizes de covariância inversa de um conjunto de medidas em diferentes subpopulações usando um wishart anterior em jags / rjags / R. Em vez de especificar uma matriz de escala e graus de liberdade na matriz de covariância inversa anterior (a distribuição wishart), eu gostaria de usar …

9 bayesian  covariance  prior  wishart  hierarchical-bayesian 

Eu tenho lidado com o seguinte problema. Eu tenho uma espécie de sistema de tempo real e, a cada período de tempo, leio seu valor atual, criando uma série temporal (como 1, 12, 2, 3, 5, 9, 1, ...). Gostaria de conhecer métodos (estatística e aprendizado de máquina) para prever …

9 time-series  machine-learning  online  forecasting 

Estou tentando produzir um modelo misto linear, o código R é o seguinte. lme (Average.payoff ~ Jogo + Tipo + Outros.Tipo + Jogo: Tipo + Jogo: Outros.Tipo + Tipo: Outros.Tipo aleatório = ~ 1 | Assuntos, método = "REML", dados = Assuntosm1) -> lme1 O termo de resposta Average.payoff é …

9 regression  mixed-model  variance  heteroscedasticity  lme4-nlme 

Estou desenvolvendo um questionário para medir quatro fatores que constituem espiritualidade e gostaria de fazer a seguinte pergunta: As transformações de dados em dados não normais são necessárias para uma análise fatorial exploratória ao usar o método de extração do fator principal de eixo? Eu terminei de rastrear meus dados …

9 factor-analysis  skewness  kurtosis  eda 

Estou usando rank(a, ties.method="max")para classificar a. Mas não tenho muita certeza do que faz ties.method="max". Você pode por favor ajudar?

9 r  ranks  ties 

Eu gostaria de obter intervalos de confiança de 95% para os centróides com base na semelhança de Gower entre algumas amostras multivariadas (dados da comunidade de núcleos de sedimentos). Até agora, usei o vegan{}pacote em R para obter a similaridade de Gower modificada entre os núcleos (baseado em Anderson 2006; …

9 r  confidence-interval 

Eu tenho uma probabilidade bastante plana de levar o amostrador Metropolis-Hastings a se mover pelo espaço de parâmetros de maneira muito irregular, ou seja, nenhuma convergência pode ser alcançada, independentemente dos parâmetros de distribuição da proposta (no meu caso, é gaussiano). Não há alta complexidade no meu modelo - apenas …

9 mcmc  likelihood  posterior