Estatísticas e Big Data

Eu tenho um bom randomForestmodelo de classificação que gostaria de usar em um aplicativo que prevê a classe de um novo caso. O novo caso tem inevitavelmente valores ausentes. Prever não funcionará como tal para NAs. Como devo fazer isso então? data(iris) # create first the new case with missing …

9 r  random-forest  prediction  missing-data 

Não tenho certeza se esta pergunta é totalmente apropriada aqui; caso contrário, exclua. Eu sou um estudante de graduação em economia. Para um projeto que investiga questões de seguros sociais, tenho acesso a um grande número de relatórios de casos administrativos (> 200k) que lidam com avaliações de elegibilidade. Esses …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Lendo a Wikipedia sobre análise de correlação canônica (CCA) para dois vetores aleatórios e Y , eu queria saber se a análise principal de componentes (PCA) é a mesma que CCA quando X = Y ?XXXYYYX= YX=YX=Y

9 pca  multivariate-analysis  canonical-correlation 

Estou tentando calcular a probabilidade marginal de um modelo estatístico pelos métodos de Monte Carlo: f( x ) = ∫f( x ∣ θ ) π( θ )dθf(x)=∫f(x∣θ)π(θ)dθf(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta A probabilidade é bem comportada - suave, côncava -, mas de alta dimensão. Eu tentei amostragem de importância, …

9 monte-carlo  likelihood  marginal 

Modelos penalizados podem ser usados ​​para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é desejável ou útil recolher …

9 categorical-data  lasso  elastic-net  log-linear  many-categories 

A situação Eu tenho um conjunto de dados com um dependente uma variável independente . Quero ajustar uma regressão linear por partes contínua com pontos de interrupção conhecidos / fixos que ocorrem em . Os breakpoins são conhecidos sem incerteza, então não quero calculá-los. Então eu ajuste uma regressão (OLS) …

9 r  regression  standard-error  piecewise-linear 

Eu estou tentando provar de uma parte posterior com muitos modos particularmente distantes um do outro usando o MCMC. Parece que, na maioria dos casos, apenas um desses modos contém os 95% hpd que estou procurando. Tentei implementar soluções baseadas em simulação temperada, mas isso não fornece resultados satisfatórios, pois, …

9 sampling  mcmc  inference  convergence 

A maior parte disso é de fundo, pule para o final se você já souber o suficiente sobre as misturas de processos do Dirichlet . Suponha que eu estou modelando alguns dados como provenientes de uma mistura de processos de Dirichlet, ou seja, permita que e condicional em assumamF∼D(αH)F∼D(αH)F \sim …

9 bayesian  nonparametric-bayes 

EDIT: Desde que fiz este post, segui com um post adicional aqui . Resumo do texto abaixo: Estou trabalhando em um modelo e tentei regressão linear, transformações de Box Cox e GAM, mas não progredi muito Usando R, Eu estou trabalhando atualmente em um modelo para prever o sucesso de …

9 r  multiple-regression  data-transformation  nonlinear-regression  gam 

Digamos que eu esteja realizando uma análise observando uma determinada medida de saúde. Estou interessado na diferença nessa medida entre pacientes e controles e se a diferença é ou não diferente de 0. Houve estudos no passado analisando minha mesma pergunta de pesquisa e medida de saúde, mas em diferentes …

9 bayesian  meta-analysis  case-control-study 

Gostaria de entender esse tópico, mas aprender com os white papers e tutoriais é difícil, porque existem muitas lacunas que geralmente são preenchidas em livros didáticos. Se for importante, tenho um histórico matemático relativamente forte, como fiz meu Ph.D. em matemática aplicada (CFD para ser mais preciso).

9 bayesian  nonparametric  references  nonparametric-bayes 

É verdade que, sob as premissas de Gauss Markov, o método dos mínimos quadrados ordinários fornece estimadores eficientes e imparciais? Então: tE( ut) = 0E(ut)=0E(u_t)=0 para todos osttt t = sE( utvocês) = σ2E(utus)=σ2E(u_tu_s)=\sigma^2 parat = st=st=s t ≠ sE( utvocês) = 0E(utus)=0E(u_tu_s)=0 parat ≠ st≠st\neq s onde são os …

9 regression  self-study  least-squares 

Estou usando a análise de classe latente para agrupar uma amostra de observações com base em um conjunto de variáveis ​​binárias. Estou usando R e o pacote poLCA. No LCA, você deve especificar o número de clusters que deseja encontrar. Na prática, as pessoas geralmente executam vários modelos, cada um …

9 data-visualization  mixture  latent-class 

Em R, se eu chamar a lm()função da seguinte maneira: lm.1 = lm(response ~ var1 + var2 + var1 * var2) summary(lm.1) Isso me dá um modelo linear da variável resposta com var1, var2e a interação entre eles. No entanto, como exatamente interpretamos numericamente o termo de interação? A documentação …

9 r  regression 

Estou tentando aprender um modelo de regressão linear. No entanto, tenho alguma confusão relacionada à normalização dos dados. Normalizei os recursos / preditores para zero média e variação de unidade. Preciso fazer o mesmo para o alvo. Se sim, por quê?

9 regression  multiple-regression  normalization