Estatísticas e Big Data

Na modelagem climática, você está procurando modelos que possam retratar adequadamente o clima da Terra. Isso inclui mostrar padrões semi-cíclicos: coisas como a oscilação do sul de El Nino. Mas a verificação do modelo ocorre geralmente em períodos relativamente curtos, onde há dados observacionais decentes (últimos ~ 150 anos). Isso …

14 time-series  model-comparison  fourier-transform  climate 

Existem bons resumos (resenhas, livros) sobre várias aplicações da cadeia de Markov Monte Carlo (MCMC)? Vi Markov Chain Monte Carlo na prática , mas esses livros parecem um pouco antigos. Existem mais livros de atualização sobre várias aplicações do MCMC em áreas como aprendizado de máquina, visão computacional e biologia …

14 machine-learning  mcmc  inference  references  application 

Fiz um modelo linear generalizado com uma variável de resposta única (contínua / normalmente distribuída) e 4 variáveis ​​explicativas (3 das quais são fatores e a quarta é um número inteiro). Eu usei uma distribuição de erro gaussiana com uma função de link de identidade. Atualmente, estou verificando se o …

14 regression  generalized-linear-model  ancova  assumptions  scatterplot 

Considere estas duas imagens em escala de cinza: A primeira imagem mostra um padrão sinuoso de rio. A segunda imagem mostra ruído aleatório. Estou procurando uma medida estatística que possa ser usada para determinar se é provável que uma imagem mostre um padrão de rio. A imagem do rio tem …

14 variance  spatial  pattern-recognition 

Recentemente, enviei um artigo, no qual usei regressão quantílica, a uma revista de psicologia. Embora eu achasse que já havia pensado bastante em uma exposição clara da regressão quantílica, os revisores pediram explicações melhores sobre a técnica de regressão quantílica que só está familiarizada com a regressão OLS padrão. Então, …

14 quantile-regression  teaching 

Suponhamos que tem alguns alguma variável resposta yijyijy_{ij} que foi medido a partir de jjj th irmão em th família. Além disso, alguns dados comportamentais foram coletados ao mesmo tempo de cada sujeito. Estou tentando analisar a situação com o seguinte modelo linear de efeitos mistos:iiixijxijx_{ij} yij=α0+α1xij+δ1ixij+εijyij=α0+α1xij+δ1ixij+εijy_{ij} = \alpha_0 + …

14 mixed-model  lme4-nlme  covariance-matrix  non-independent 

Considere o seguinte biplot PCA: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Há um monte de setas vermelhas plotadas, o que elas significam? Eu sabia que a primeira seta marcada com "Var1" deveria apontar a direção mais variável do …

14 r  pca  linear-algebra  biplot 

Em probabilidade e estatística, o conceito de "aleatório" e "aleatoriedade" são freqüentemente usados. Geralmente, o conceito de uma variável aleatória é usado para modelar eventos que ocorrem devido ao acaso. Minha pergunta diz respeito ao termo "aleatório". O que é aleatório? Existe aleatoriedade realmente? Estou curioso para saber o que …

14 interpretation  terminology 

Suponha que eu tenha um algoritmo que classifique as coisas em duas categorias. Eu posso medir a precisão do algoritmo em, digamos, 1000 itens de teste - suponha que 80% deles sejam classificados corretamente. Vamos supor que eu modifique o algoritmo de alguma forma para que 81% das coisas sejam …

14 statistical-significance  classification 

Vou ver os vídeos do curso de aprendizado de máquina on - line gratuito de Andrew Ng em Stanford. Ele discute o Gradient Descent como um algoritmo para resolver funções de regressão linear e escrita no Octave para executá-lo. Presumivelmente, eu poderia reescrever essas funções em R, mas minha pergunta …

14 r  regression  machine-learning  gradient-descent 

Costumo me fazer perguntas como: "Eu sei que essa variável está em e a maior parte da massa está em e depois diminui continuamente em direção a 1. Que distribuição posso usar para modelá-la? "xxx(0,1)(0,1)(0,1)(0,.20)(0,.20)(0,.20) Na prática, acabo usando as mesmas poucas distribuições repetidamente simplesmente porque as conheço. Em vez …

14 distributions  references 

O teorema do limite central afirma que a média das variáveis ​​iid, como NNN vai ao infinito, torna-se normalmente distribuída. Isso levanta duas questões: Podemos deduzir disso a lei dos grandes números? Se a lei dos números grandes diz que a média de uma amostra dos valores de uma variável …

14 probability  central-limit-theorem  law-of-large-numbers 

Alguém pode me dizer como R estimar o ponto de interrupção em um modelo linear por partes (como um parâmetro fixo ou aleatório), quando eu também precisar estimar outros efeitos aleatórios? Incluí um exemplo de brinquedo abaixo que se encaixa em uma regressão de taco de hóquei / taco quebrado …

14 r  mixed-model  lme4-nlme  change-point  piecewise-linear 

Existem pacotes para fazer regressão linear por partes, que podem detectar os vários nós automaticamente? Obrigado. Quando eu uso o pacote strucchange. Não consegui detectar os pontos de mudança. Não faço ideia de como ele detecta os pontos de mudança. Pelas parcelas, pude ver que há vários pontos que quero …

14 regression  change-point 

Alguém pode me indicar uma implementação de k-means (seria melhor se no matlab) que pode levar a matriz de distância na entrada? A implementação padrão do matlab precisa da matriz de observação na entrada e não é possível alterar de forma personalizada a medida de similaridade.

14 clustering  matlab  k-means