Perguntas com a marcação «feature-selection»

Eu tenho uma pergunta com relação à necessidade de usar métodos de seleção de recursos (florestas aleatórias apresentam valor de importância ou métodos de seleção de recursos univariados etc.) antes de executar um algoritmo de aprendizado estatístico. Sabemos que, para evitar ajustes excessivos, podemos introduzir penalidades de regularização nos vetores …

20 regression  machine-learning  feature-selection  lasso  regularization 

Duas abordagens comuns para a seleção de variáveis ​​correlacionadas são testes de significância e validação cruzada. Que problema cada um tenta resolver e quando eu preferiria um ao outro?

20 cross-validation  feature-selection 

Recentemente, descobri que na literatura econométrica aplicada, ao lidar com problemas de seleção de características, não é incomum executar o LASSO seguido de uma regressão OLS usando as variáveis ​​selecionadas. Fiquei me perguntando como podemos qualificar a validade de tal procedimento. Causará problemas como variáveis ​​omitidas? Alguma prova mostrando que …

20 regression  feature-selection  econometrics  least-squares  lasso 

A seguir, é apresentado o gráfico do glmnet com alfa padrão (1, portanto, laço) usando o mtcarsconjunto de dados em R com mpgo DV e outros como variáveis ​​preditoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) O que podemos concluir desse gráfico em relação a diferentes variáveis, especialmente am, cyle wt(linhas vermelhas, pretas e azuis …

19 regression  feature-selection  lasso  glmnet 

Estou tendo problemas para interpretar os valores z para variáveis ​​categóricas na regressão logística. No exemplo abaixo, tenho uma variável categórica com 3 classes e, de acordo com o valor z, CLASS2 pode ser relevante enquanto as outras não. Mas agora o que isso significa? Que eu poderia mesclar as …

19 r  logistic  categorical-data  feature-selection  categorical-encoding 

Os métodos de seleção de variáveis ​​algorítmicas passo a passo tendem a selecionar modelos que enviesam mais ou menos todas as estimativas em modelos de regressão ( ββ\beta s e seus SEs, valores de p , estatísticas F , etc.) e têm a probabilidade de excluir preditores verdadeiros como incluir …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Depois de ler "Explain or to Predict" (2010), de Galit Shmueli, fico intrigado com uma aparente contradição. Existem três premissas, Escolha do modelo com base no AIC versus no BIC (final da p. 300 - início da p. 301): basta colocar o AIC para selecionar um modelo destinado à previsão, …

18 forecasting  model-selection  feature-selection  aic  bic 

Estou tentando comparar a complexidade computacional / velocidade de estimativa de três grupos de métodos para regressão linear, conforme distinguido em Hastie et al. "Elementos da aprendizagem estatística" (2ª ed.), Capítulo 3: Seleção de subconjunto Métodos de encolhimento Métodos usando direções de entrada derivadas (PCR, PLS) A comparação pode ser …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Acabamos de abordar a Hipótese não linear de redes neurais de Andrew Ng, e tivemos uma pergunta de múltipla escolha para determinar o número de recursos para uma imagem da resolução 100x100 das intensidades de escala de escala . E a resposta foi 50 milhões, x10 755510710710^7 No entanto, anteriormente, …

18 feature-selection  image-processing 

Estou usando cv.glmnetpara encontrar preditores. A configuração que eu uso é a seguinte: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Garantir que os resultados sejam reprodutíveis set.seed(1). Os resultados são altamente variáveis. Corri exatamente o mesmo código 100 para ver como os resultados eram variáveis. Nas corridas 98/100, sempre havia um preditor …

18 r  cross-validation  feature-selection  glmnet 

Preciso classificar os URLs em categorias. Digamos que eu tenho 15 categorias nas quais planejo zerar cada URL. Um classificador de 15 vias é melhor? Onde eu tenho 15 rótulos e gero recursos para cada ponto de dados. Ou construindo 15 classificadores binários, digamos: Filme ou Não Filme, e use …

18 machine-learning  classification  categorical-data  svm  feature-selection 

Qual é a definição de "espaço de recurso"? Por exemplo, ao ler sobre SVMs, li sobre "mapeamento para destacar o espaço". Ao ler sobre o CART, li sobre "particionamento para destacar o espaço". Entendo o que está acontecendo, especialmente para a CART, mas acho que há alguma definição que eu …

18 machine-learning  svm  feature-selection  cart  feature-construction 

Eu construí um classificador de regressão logística que é muito preciso nos meus dados. Agora eu quero entender melhor por que está funcionando tão bem. Especificamente, eu gostaria de classificar quais recursos estão dando a maior contribuição (quais recursos são mais importantes) e, idealmente, quantificar quanto cada recurso está contribuindo …

17 machine-learning  logistic  feature-selection  importance 

Estou usando o Lasso para seleção de recursos em uma configuração dimensional relativamente baixa (n >> p). Depois de ajustar um modelo Lasso, quero usar as covariáveis ​​com coeficientes diferentes de zero para ajustar um modelo sem penalidade. Estou fazendo isso porque quero estimativas imparciais que Lasso não pode me …

17 regression  feature-selection  lasso  unbiased-estimator 

Depois de criar um modelo de floresta aleatória (regressão) em R, a chamada rf$importancefornece duas medidas para cada variável preditora, %IncMSEe IncNodePurity. A interpretação de que variáveis ​​preditoras com %IncMSEvalores menores são mais importantes que variáveis ​​preditoras com %IncMSEvalores maiores ? Que tal para IncNodePurity?

17 r  feature-selection  random-forest