Estatísticas e Big Data

Depois de executar o PCA, o primeiro componente descreve a maior parte da variabilidade. Isso é importante, por exemplo, no estudo de medidas corporais, onde é comumente conhecido (Jolliffe, 2002) que o eixo PC1 captura a variação de tamanho. Minha pergunta é se as pontuações do PCA após a rotação …

8 regression  pca  factor-rotation 

Eu tenho um conjunto variável de respostas que são expressas como um intervalo, como a amostra abaixo. > head(left) [1] 860 516 430 1118 860 602 > head(right) [1] 946 602 516 1204 946 688 onde esquerda é o limite inferior e direita é o limite superior da resposta. Quero …

8 r  maximum-likelihood  likelihood  lognormal  interval-censoring 

Eu tenho que fazer alguns testes de raiz unitária para um projeto, não tenho certeza de como interpretar os dados (que é o que me pediram para fazer). Aqui está um dos meus resultados: dfuller Demand Dickey-Fuller test for unit root Number of obs = 50 ---------- Interpolated Dickey-Fuller --------- …

8 time-series  hypothesis-testing  stata  interpretation  unit-root 

Eu tenho uma sequência binária como 11111011011110101100000000000100101011011111101111100000000000011010100000010000000011101111 Onde clusters de 1s são seguidos por um número maior de zeros, como na figura abaixo (preto significa 1): Eu gostaria de aplicar uma técnica (preferencialmente em R ou em Python) em que eu possa detectar automaticamente esses clusters de 1s e produzir …

8 classification  clustering  data-mining  pattern-recognition  binary-data 

Usando o excelente pacote de previsões de Rob Hyndman, deparei-me com a necessidade de não apenas ter intervalos de previsão, mas simular vários caminhos futuros, considerando observações passadas de uma série temporal com sazonalidades complexas. Há algo para séries temporais menos complexas com apenas uma ou duas sazonalidades (simulate.ets () …

8 r  time-series  forecasting  simulation  tbats 

Problema relacionado à simulação de semi-informática aqui. Eu tenho uma distribuição onde P (x) = ( eb- 1 ) eb ( n - x )eb n + b- 1(eb−1)eb(n−x)ebn+b−1\frac{(e^b-1) e^{b (n-x)}}{e^{b n+b}-1} para algumas constantes b e n, e x é um número inteiro tal que 0 ≤ x ≤ …

8 sampling  simulation  monte-carlo 

Eu sei que R não é particularmente útil para analisar grandes conjuntos de dados, uma vez que R carrega todos os dados na memória, enquanto algo como o SAS faz análise sequencial. Dito isto, existem pacotes como o bigmemory que permitem aos usuários realizar análises de grandes dados (análise estatística) …

8 r  sas  large-data 

A média da amostra é o estimador de probabilidade máxima de para uma distribuição normal . A mediana da amostra é o estimador de probabilidade máxima de para uma distribuição de Laplace (também chamada de distribuição exponencial dupla).μμ\muNormal(μ,σ)Normal(μ,σ)\text{Normal}(\mu,\sigma)mmm Laplace(m,s)Laplace(m,s)\text{Laplace}(m,s) Existe uma distribuição com um parâmetro de localização para o qual …

8 distributions  maximum-likelihood  trimmed-mean 

Eu li que, para o Maximal Margin Classifier SVM, depois de resolver o problema duplo, a maioria dos multiplicadores de intervalo de intervalo acaba sendo zeros. Somente os correspondentes aos vetores de suporte são positivos. Por que é que?

8 svm  lagrange-multipliers 

Existem conceitos ou teorias estatísticas sobre como medir efetivamente a atualidade para onde eventos recentes ganham mais peso que os mais antigos. Estou criando um modelo de regressão logística e gostaria de aplicar um ajuste a vários fatores com base na recorrência dos eventos. ... ou, é puramente minha decisão …

8 regression  logistic 

Estou tentando ajustar um modelo log-linear a um grande número de variáveis ​​dos dados da pesquisa. Existem alguns motivos pelos quais pode ser preferível ajustar as regressões logísticas a esses dados. Várias autoridades sugerem que estes são equivalentes. No entanto, tenho alguns motivos para duvidar disso. Os modelos log-linear tratam …

8 logistic  interaction  log-linear 

É possível derivar uma fórmula para variação de potências de uma variável aleatória em termos de valor esperado e variação de X? e E ( X n ) =var( Xn) =?var⁡(Xn)=?\operatorname{var}(X^n)= \,?E( Xn) =?E(Xn)=?E(X^n)=\,?

8 variance  expected-value 

O seguinte é um problema de Bayesian Data Analysis 2nd ed , p. 97. Andrew Gelman não incluiu sua solução no guia em seu site e isso me deixou louco o dia todo. Literalmente o dia todo. yyyNNNθθ\thetaNNNPr(N|μ)=Poisson(μ)Pr(N|μ)=Poisson(μ)\Pr(N|\mu) = Poisson(\mu)μμ\mu(N,θ)(N,θ)(N, \theta)λ=μθλ=μθ\lambda=\mu\thetaNNNp(λ,θ)∝1/λp(λ,θ)∝1/λp(\lambda, \theta) \varpropto 1/\lambda . A parte do problema em …

8 self-study  bayesian  binomial 

Sou um grande fã de futebol e também estou interessado em aprendizado de máquina. Como projeto para o meu curso de ML, estou tentando criar um modelo que preveja a chance de ganhar para o time da casa, dados os nomes do time em casa e fora. (Eu consulto meu …

8 regression  machine-learning  predictive-models  neural-networks 

Alguém pode me explicar a intuição por trás da trama dividida? Pelo que entendi, é essencialmente uma randomização restrita. Mas ainda não o entendo direito. Existe um recurso ou exemplo que alguém possa me dar para torná-lo mais claro?

8 anova  repeated-measures  experiment-design  split-plot