Estatísticas e Big Data

Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) …

22 machine-learning  cross-validation  glmnet  elastic-net 

Eu entendo que o teste de Wald para coeficientes de regressão é baseada na seguinte propriedade que mantém assintoticamente (por exemplo Wasserman (2006): todas as estatísticas , páginas 153, 214-215): Ondeβindica o coeficiente de regressão estimados,^si(β)indica o erro padr do coeficiente de regressão eβ0é o valor de interesse (β0é geralmente …

22 r  regression  hypothesis-testing  generalized-linear-model 

Eu quero entender melhor os pacotes R Larse Glmnet, que são usados ​​para resolver o problema de Lasso: (parapVariáveis ​​eamostras deN, consultewww.stanford.edu/~hastie/Papers/glmnet.pdfna página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1N( yEu- β0 0- xTEuβ)2+ λ | | β| |eu1]mEun(β0 0β)∈Rp+1[12N∑Eu=1N(yEu-β0 0-xEuTβ)2+λ||β||eu1]min_{(\beta_0 \beta) \in R^{p+1}} …

22 r  regression  machine-learning  lasso  regularization 

Quero executar o agrupamento K-means nos objetos que tenho, mas os objetos não são descritos como pontos no espaço, ou seja, por objects x featuresconjunto de dados. No entanto, sou capaz de calcular a distância entre dois objetos (ela se baseia em uma função de similaridade). Então, eu descarto a …

22 machine-learning  clustering  data-mining  k-means  distance 

Depois de jogar muito Angry Birds, comecei a observar minhas próprias estratégias. Acontece que eu desenvolvi uma abordagem muito específica para obter 3 estrelas em cada nível. Isso me fez pensar nos desafios de desenvolver um sistema de aprendizado de máquina capaz de jogar o Angry Birds. Interagir com o …

22 machine-learning  reinforcement-learning 

Suponha que eu tenha alguma medida para cada assunto em cada site. Duas variáveis, assunto e site, são de interesse em termos de computação de valores de correlação intraclasse (ICC). Normalmente eu usaria a função lmerdo pacote R lme4e executava lmer(measurement ~ 1 + (1 | subject) + (1 | …

22 r  lme4-nlme  intraclass-correlation 

Sou novato nessa coisa de R, mas não tenho certeza de qual modelo selecionar. Fiz uma regressão passo a passo, selecionando cada variável com base no AIC mais baixo. Eu vim com três modelos que não tenho certeza qual é o "melhor". Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1 …

22 model-selection  aic  stepwise-regression 

Devo esclarecer imediatamente que sou um desenvolvedor de software que pratica, não um estatístico e que minha aula de estatística da faculdade foi há muito tempo ... Dito isso, eu gostaria de saber se existe um método para acumular um conjunto de estatísticas descritivas que possam ser usadas para produzir …

22 algorithms  median  quantiles 

Eu tenho dois grupos de dados. Cada um com uma distribuição diferente de várias variáveis. Estou tentando determinar se as distribuições desses dois grupos são diferentes de uma maneira estatisticamente significativa. Eu tenho os dados na forma bruta e agrupados de maneira mais fácil para lidar com categorias discretas com …

22 distributions  statistical-significance 

Em seu artigo Seleção de modelo linear por validação cruzada , Jun Shao mostra que, para o problema de seleção de variáveis ​​na regressão linear multivariada, o método de validação cruzada de sobreaquecimento (LOOCV) é 'assintoticamente inconsistente'. Em inglês simples, ele tende a selecionar modelos com muitas variáveis. Em um …

22 classification  model-selection  cross-validation 

Estou ciente de que houve muitos avanços no que diz respeito ao reconhecimento de imagens, classificação de imagens etc. com redes neurais profundas e convolucionais. Mas se eu treinar uma rede, digamos, em imagens PNG, funcionará apenas para imagens tão codificadas? Que outras propriedades da imagem afetam isso? (canal alfa, …

22 neural-networks  deep-learning  image-processing 

Não sei por que precisamos codificar variáveis ​​categóricas. Por exemplo, se eu tenho uma variável categórica com quatro valores possíveis 0,1,2,3, posso substituí-la por duas dimensões. Se a variável tivesse valor 0, teria 0,0 na duas dimensões, se tivesse 3, teria 1,1 na duas dimensões e assim por diante. Não …

22 categorical-data  categorical-encoding 

Estou um pouco confuso sobre quais são os pressupostos da regressão linear. Até agora, verifiquei se: todas as variáveis ​​explicativas se correlacionaram linearmente com a variável resposta. (Esse foi o caso) houve colinearidade entre as variáveis ​​explicativas. (houve pouca colinearidade). as distâncias de Cook dos pontos de dados do meu …

22 linear-model  residuals  assumptions  normality-assumption 

Eu tenho uma pergunta sobre análise de cluster. Existem 3000 empresas, que precisam ser agrupadas de acordo com o uso de energia ao longo de 5 anos. Cada empresa possui valores para cada hora durante 5 anos. Gostaria de descobrir se algumas empresas têm o mesmo padrão de uso de …

22 time-series  clustering  spss 

Houve boas perguntas sobre como lidar com dados desequilibrados no contexto da classificação , mas estou me perguntando o que as pessoas fazem para amostrar para regressão. Digamos que o domínio do problema seja muito sensível ao sinal, mas apenas um pouco sensível à magnitude do alvo. No entanto, a …

22 regression  sampling  unbalanced-classes