Estatísticas e Big Data

Estou trabalhando na validação cruzada da previsão dos meus dados com 200 indivíduos e 1000 variáveis. Estou interessado em regressão de cume porque o número de variáveis ​​(eu quero usar) é maior que o número de amostra. Então, eu quero usar estimadores de encolhimento. A seguir, são compostos dados de …

9 r  cross-validation  prediction  ridge-regression 

Digamos que eu tenha um conjunto de dados com pontuações em vários itens do questionário, que são teoricamente compostos por um número menor de escalas, como na pesquisa em psicologia. Eu sei que uma abordagem comum aqui é verificar a confiabilidade das escalas usando o alfa de Cronbach ou algo …

9 factor-analysis  reliability  psychometrics  cronbachs-alpha  scale-construction 

Estou ajustando um glmermodelo no lme4pacote R. Estou procurando uma tabela anova com o valor p mostrado nela, mas não consigo encontrar nenhum pacote que se encaixe nela. É possível fazer isso em R? O modelo que estou ajustando é da forma: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times a year'), control=glmerControl(optimizer="bobyqa"))

9 r  anova  lme4-nlme  mixed-model 

Eu tenho uma pergunta sobre como modelar texto sobre dados de contagem, em particular como eu poderia usar a lassotécnica para reduzir recursos. Digamos que eu tenha N artigos on-line e a contagem de visualizações de página para cada artigo. Eu extraí 1 grama e 2 gramas para cada artigo …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

As bolsas geralmente exigem análise de energia para suportar um tamanho de amostra proposto. Na proteômica (e na maioria das ômicas), existem centenas de milhares de características / variáveis ​​medidas em 10 das amostras (talvez 100, mas improvável). Além disso, sabe-se que algumas dessas unidades de medida (por exemplo, contagem …

9 nonparametric  power-analysis 

A questão diz tudo. Eu li que ambos não podem generalizar o KS para uma dimensão igual ou maior que dois , e que implementações famosas como as do Numerical Recipes estão simplesmente erradas. Poderia explicar por que é assim?

9 kolmogorov-smirnov  bivariate  ecdf 

Tenho problemas para interpretar os gráficos de interação quando há uma interação entre as duas variáveis ​​independentes. Os seguintes gráficos são deste site: Aqui, e são as variáveis ​​independentes e é a variável dependente.B D VUMAAABBBD VDVDV Pergunta: Há interação e efeito principal de , mas nenhum efeito principal deBUMAAABBB …

9 data-visualization  interaction  interpretation 

Eu tenho um conjunto de dados de cerca de 5000 recursos. Para esses dados, usei o teste Chi Square para seleção de recursos; depois disso, obtive cerca de 1500 variáveis ​​que mostraram relação de significância com a variável resposta. Agora eu preciso ajustar a regressão logística nisso. Estou usando o …

9 r  logistic  generalized-linear-model  modeling  regression-strategies 

Estou procurando pelo algoritmo de regressão linear mais adequado para dados cuja variável independente (x) possui um erro de medição constante e a variável dependente (y) possui um erro dependente do sinal. A imagem acima ilustra minha pergunta.

9 regression  linear-model  measurement-error  measurement 

Eu tenho uma função que retorna um tempo médio de espera para um usuário da web. Ou seja, fornece um tempo médio para que um usuário comum possa permanecer em uma página da web, considerando o tamanho dos recursos da web em palavras. Quero usar essa função (e a média …

9 distributions 

Quero incluir o termo xxx e seu quadrado x2x2x^2 (variáveis ​​preditoras) em uma regressão, porque presumo que valores baixos de xxx tenham um efeito positivo na variável dependente e valores altos tenham um efeito negativo. O x2x2x^2 deve capturar o efeito dos valores mais altos. Portanto, espero que o coeficiente …

9 regression  multiple-regression  polynomial  centering 

Revisei um documento baseado em aplicativos dizendo que aplicando o PCA antes de aplicar o ICA (usando o pacote fastICA). Minha pergunta é: o ICA (fastICA) exige que o PCA seja executado primeiro? Este artigo mencionou que ... também é discutido que a pré-aplicação do PCA aprimora o desempenho da …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Por padrão, quando usamos uma glmfunção em R, utiliza a mínimos quadrados iterativo reponderadas método (IWLS) para encontrar a estimativa da probabilidade máxima dos parâmetros. Agora eu tenho duas perguntas. As estimativas da IWLS garantem o máximo global da função de probabilidade? Com base no último slide desta apresentação, acho …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Eu tenho esses dados: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Fiz uma regressão de Poisson poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") E uma regressão binomial negativa: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Então eu calculei …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Tenho uma dúvida: considere as variáveis ​​aleatórias com valor real e definidas no espaço de probabilidade .XXXZZZ(Ω,F,P)(Ω,F,P)(\Omega, \mathcal{F},\mathbb{P}) Seja , onde é uma função com valor real. Como Y é uma função de variáveis ​​aleatórias, é uma variável aleatória.Y:=g(X,Z)Y:=g(X,Z)Y:= g(X,Z)g(⋅)g(⋅)g(\cdot)YYY Vamos x:=X(ω)x:=X(ω)x:=X(\omega) ou seja, uma realização de XXX . É …

9 probability  random-variable