Estatísticas e Big Data

Esta pergunta é um acompanhamento técnico desta pergunta . Tenho dificuldade em entender e replicar o modelo apresentado em Raftery (1988): Inferência para o binômio NNN parâmetro : uma abordagem hierárquica de Bayes no WinBUGS / OpenBUGS / JAGS. Não se trata apenas de código, portanto, ele deve estar no …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

A utilizada pela opção "ward.D" (equivalente à única opção Ward "ward" nas versões R <= 3.0.3) não implementa o critério de agrupamento de Ward (1963), enquanto a opção "ward.D2" implementa esse critério ( Murtagh e Legendre 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Aparentemente, ward.D não implementa corretamente o critério de Ward. No …

16 r  clustering  ward 

Qual é a diferença entre um classificador, modelo e estimador? Pelo que posso dizer: um estimador é um preditor encontrado no algoritmo de regressão um classificador é um preditor encontrado em um algoritmo de classificação um modelo pode ser um estimador ou um classificador Mas, ao olhar on-line, parece que …

16 machine-learning 

Pelo que entendi, uma rede neural artificial de perceptron / camada única com uma função de ativação sigmóide logística é o mesmo modelo que a regressão logística. Ambos os modelos são dados pela equação: F( x ) = 11 - e- βXF(x)=11-e-βXF(x) = \frac{1}{1-e^{-\beta X}} O algoritmo de aprendizado do …

16 logistic  communication 

Vou precisar apresentar um projeto para não estatísticos em uma próxima conferência e gostaria de incluir uma citação que li em um ponto que faz a comparação entre estatísticas e uma máquina que processa minério. O motivo é que quero enfatizar uma certa conexão entre os recursos estatísticos e os …

16 references  quotation 

Nos últimos meses, li intensamente sobre a regressão quantílica em preparação para minha tese de mestrado neste verão. Especificamente, li a maior parte do livro de Roger Koenker em 2005 sobre o assunto. Agora, quero expandir esse conhecimento existente para técnicas de regressão quantílica que permitam variáveis ​​instrumentais (IV). Este …

16 regression  references  econometrics  instrumental-variables  quantile-regression 

Sou novo na página e bastante novo em estatística e R. Estou trabalhando em um projeto para a faculdade com o objetivo de encontrar a correlação entre a chuva e o nível do fluxo de água nos rios. Depois que a correlação for comprovada, quero prever / prever. Os dados …

16 r  time-series  forecasting  cross-correlation  lags 

Tenho um histórico moderado na previsão de séries temporais. Examinei vários livros de previsão e não vejo as seguintes perguntas abordadas em nenhum deles. Eu tenho duas perguntas: Como eu determinaria objetivamente (via teste estatístico) se uma determinada série temporal tem: Sazonalidade estocástica ou uma sazonalidade determinística Tendência estocástica ou …

16 time-series  forecasting  arima  stochastic-processes 

Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que …

16 r  machine-learning  roc  precision-recall  auc 

Estou tentando aprender como usar os campos aleatórios de Markov para segmentar regiões em uma imagem. Não entendo alguns dos parâmetros no MRF ou por que às vezes a maximização de expectativas que realizo não converge para uma solução. A partir teorema de Bayes, eu tenho , onde é o …

16 expectation-maximization  image-processing  classification 

Estou usando a glmerfunção do lme4pacote em R e usando o bobyqaotimizador (ou seja, o padrão no meu caso). Estou recebendo um aviso e estou curioso para saber o que isso significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- …

16 r  optimization  lme4-nlme  convergence  glmm 

Estou tentando determinar se meu conjunto de dados de dados contínuos segue uma distribuição gama com os parâmetros shape 1.7 e rate 0.000063.====== O problema é que quando eu uso R para criar um gráfico QQ do meu conjunto de dados relação à distribuição teórica gama (1,7, 0,000063), recebo um …

16 pdf  kolmogorov-smirnov  cdf  qq-plot 

Seja denotado a mediana e denotado a média, de uma amostra aleatória de tamanho de uma distribuição que é . Como posso calcular ?Y YYˉ XX¯\bar{X} n = 2 k + 1 n=2k+1n=2k+1N ( μ , σ 2 ) N(μ,σ2)N(\mu,\sigma^2)E ( Y | ˉ X = ˉ x )E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) Intuitivamente, …

16 self-study  normal-distribution  mathematical-statistics  expected-value  conditional-expectation 

Estou me ensinando algumas estatísticas por diversão e tenho alguma confusão em relação a estatísticas suficientes . Vou escrever minhas confusões em formato de lista: Se uma distribuição tiver parâmetros, ela terá n estatísticas suficientes?nnnnnn Existe algum tipo de correspondência direta entre as estatísticas suficientes e os parâmetros? Ou as …

16 mathematical-statistics  sufficient-statistics 

Eu estava pensando neste problema. http://en.wikipedia.org/wiki/Two_envelopes_problem Acredito na solução e acho que entendo, mas se eu seguir a abordagem a seguir, estou completamente confuso. Problema 1: Vou oferecer o seguinte jogo. Você me paga US $ 10 e eu jogarei uma moeda justa. Cara eu te dou $ 5 e …

16 probability  paradox  puzzle