Estatísticas e Big Data

Estou tentando plotar um QQ-plot com dois conjuntos de dados de cerca de 1,2 milhão de pontos, em R (usando qqplot e alimentando os dados no ggplot2). O cálculo é fácil, mas o gráfico resultante é muito lento para carregar, porque há muitos pontos. Eu tentei a aproximação linear para …

14 r  data-visualization  qq-plot 

Alguém pode me ajudar a entender os modelos de efeito fixo / aleatório? Você pode explicar à sua maneira se tiver digerido esses conceitos ou me encaminhar para o recurso (livro, anotações, site) com endereço específico (número da página, capítulo etc.) para que eu possa aprendê-los sem nenhuma confusão. Isso …

14 mixed-model  modeling  random-effects-model  fixed-effects-model 

Preciso estimar a função densidade com base em um conjunto de observações usando o estimador de densidade do kernel. Com base no mesmo conjunto de observações, também preciso estimar a primeira e a segunda derivada da densidade usando as derivadas do estimador de densidade do núcleo. A largura de banda …

14 r  nonparametric  pdf  kernel-smoothing 

Tenho uma pergunta sobre o uso de um modelo / modelo misto. O modelo básico é este: lmer(DV ~ group * condition + (1|pptid), data= df) Grupo e condição são dois fatores: o grupo possui dois níveis (grupo A, grupo B) e a condição possui três níveis (condição1, condição2, condição3). …

14 interaction  interpretation  lme4-nlme  model 

Eu tenho um conjunto de dados, e x . Eu gostaria de testar a seguinte hipótese: Há um pico em y ; isto é, x aumenta, y primeiro aumenta e depois diminui.yyyxxxyyyxxxyyy Minha primeira ideia foi encaixar e x 2 em uma SLR. Ou seja, se eu achar que o …

14 regression  statistical-significance  curves 

Eu queria saber qual pacote estatístico de software vocês recomendam para executar a inferência bayesiana. Por exemplo, eu sei que você pode executar o openBUGS ou o winBUGS como autônomo ou também pode chamá-los de R. Mas o R também possui vários de seus próprios pacotes (MCMCPack, BACCO), que podem …

14 r  probability  bayesian  inference  bugs 

mgcv::gamPágina de ajuda da Reading : intervalos de confiança / credibilidade estão prontamente disponíveis para qualquer quantidade prevista usando um modelo ajustado No entanto, não consigo descobrir uma maneira de realmente conseguir uma. Eu pensei predict.gamque teria um type=confidencee um levelparâmetro, mas não. Você pode me ajudar em como criá-lo?

14 r  confidence-interval  gam 

Eu estava lendo sobre o cálculo da estimativa imparcial do desvio padrão e a fonte que li declarada (...) exceto em algumas situações importantes, a tarefa tem pouca relevância para aplicações de estatística, uma vez que sua necessidade é evitada por procedimentos padrão, como o uso de testes de significância …

14 bayesian  statistical-significance  mathematical-statistics  standard-deviation  standard-error 

Estou usando o pacote nnet no R para tentar construir uma ANN para prever preços de imóveis para condomínios (projeto pessoal). Eu sou novo nisso e não tenho formação em matemática, então, por favor, fique comigo. Eu tenho variáveis ​​de entrada que são binárias e contínuas. Por exemplo, algumas variáveis …

14 r  machine-learning  data-transformation  neural-networks  nnet 

Suponha que eu deseje regredir contra um X normalizado , mas gostaria de uma solução esparsa. Após a regressão, por que o descarte dos coeficientes com a menor magnitude não é permitido?YYYXXX Para constar, ouvi falar e frequentemente uso os métodos LARS e LASSO. Só estou curioso para saber por …

14 regression  regression-coefficients 

Suponha que são independentes eY=(Y1,…,Yn)′Y=(Y1,...,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yi=0Yi=kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! } Suponha também os parâmetros e p = ( p 1 , ... , …

14 poisson-regression  zero-inflation 

Eu tenho os seguintes dados e gostaria de ajustar um modelo de crescimento exponencial negativo a ele: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)), start = list(a = 2000, b = 0.55)) curve((y = …

14 r  nonlinear-regression  fitting  nls 

Considere um problema de análise de dados clássico onde você tem um resultado e como ela está relacionada a uma série de preditores X i 1 , . . . , X i p . O tipo básico de aplicação em mente aqui é queYiYiY_{i}Xi1,...,XipXi1,...,XipX_{i1}, ..., X_{ip} é algum resultado …

14 regression  measurement-error  errors-in-variables 

Talvez seja apenas porque estou cansada, mas estou tendo problemas para tentar entender o algoritmo Forward Stagewise Regression. Na página "Elementos da aprendizagem estatística", página 60: A regressão forward-stagewise (FS) é ainda mais restrita que a regressão forward-stepwise. Começa como regressão progressiva para a frente, com uma interceptação igual à …

14 regression  algorithms  feature-selection 

Eu tenho alguns dados dicotômicos, apenas variáveis ​​binárias, e meu chefe me pediu para realizar uma análise fatorial usando a matriz de correlações tetracóricas. Anteriormente, eu fui capaz de me ensinar a executar análises diferentes com base nos exemplos aqui e no site de estatísticas da UCLA e em outros …

14 r  factor-analysis  psychometrics  binary-data