Perguntas com a marcação «feature-selection»

Nos elementos do aprendizado estatístico , encontrei a seguinte declaração: Há uma qualificação: as etapas iniciais de triagem não supervisionada podem ser feitas antes que as amostras sejam deixadas de fora. Por exemplo, podemos selecionar os 1000 preditores com maior variação em todas as 50 amostras, antes de iniciar a …

9 machine-learning  cross-validation  feature-selection 

Estou tentando agrupar conjuntos de dados diferentes usando algoritmos não supervisionados (clustering). O problema é que tenho muitos recursos (~ 500) e uma pequena quantidade de casos (200-300). Até agora, costumava fazer apenas problemas de classificação para os quais sempre rotulava dados como conjuntos de treinamento. Lá, usei algum critério …

9 r  clustering  feature-selection  unsupervised-learning 

Meu objetivo é analisar os logs de rede (por exemplo, Apache, syslog, auditoria de segurança do Active Directory e assim por diante) usando a detecção de cluster / anomalia para fins de detecção de intrusão. Nos logs, tenho muitos campos de texto como endereço IP, nome de usuário, nome do …

9 feature-selection  outliers  unsupervised-learning  feature-construction 

Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j …

9 feature-selection  lasso  shrinkage 

Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Estou confuso sobre a análise de permutação para seleção de características em um contexto de regressão logística. Você poderia fornecer uma explicação clara do teste de permutação aleatória e como ele se aplica à seleção de recursos? Possivelmente com algoritmo e exemplos exatos. Finalmente, como ele se compara a outros …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Meu conjunto de dados é composto pela mortalidade total ou pela sobrevivência de um organismo em três tipos de locais, costeiros, canais intermediários e offshore. Os números na tabela abaixo representam o número de sites. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Gostaria de …

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

É possível usar a análise de componentes principais do kernel (kPCA) para Indexação Semântica Latente (LSI) da mesma maneira que o PCA é usado? Realizo o LSI em R usando a prcompfunção PCA e extraio os recursos com cargas mais altas dos primeiros componentes. Com isso, recebo os recursos que …

9 r  pca  feature-selection  kernel-trick 

Em um artigo que estava lendo recentemente, me deparei com o seguinte bit na seção de análise de dados: A tabela de dados foi então dividida em tecidos e linhas celulares, e as duas subtabelas foram polidas separadamente por mediana (as linhas e colunas foram ajustadas iterativamente para ter mediana …

9 feature-selection  median  genetics 

Para a seleção de preditores na regressão linear multivariada com preditores adequados, quais métodos estão disponíveis para encontrar um subconjunto 'ótimo' dos preditores sem testar explicitamente todos os subconjuntos 2 p ? Em 'Applied Survival Analysis', Hosmer & Lemeshow fazem referência ao método de Kuk, mas não consigo encontrar o …

9 modeling  regression  multivariable  model-selection  feature-selection 

Observei que a função laço no MATLAB é relativamente lenta. Eu corro muitos problemas de regressão, com tipicamente 1 a 100 preditores e 200 a 500 observações. Em alguns casos, o laço mostrou-se extremamente lento (para resolver problemas de regressão, levou vários minutos). Descobri que esse era o caso quando …

9 regression  feature-selection  regularization 

Quero treinar uma rede neural com uma sequência de caracteres como um vetor de entrada. Os exemplos de aprendizado têm duração diferente e, por esse motivo, não sei como representá-los. Digamos que eu tenha dois exemplos de sequências, aqui os nomes: john doe maurice delanoe O primeiro exemplo é de …

9 machine-learning  neural-networks  feature-selection  natural-language 

Como eu usaria a saída de uma análise de componentes principais (PCA) em um modelo linear generalizado (GLM), assumindo que o PCA é usado para seleção de variáveis ​​para o GLM? Esclarecimento: Eu quero usar o PCA para evitar o uso de variáveis ​​correlacionadas no GLM. No entanto, o PCA …

9 pca  generalized-linear-model  feature-selection 

Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn SelectFromModel …

9 feature-selection  linear-model  lasso  ridge-regression 

Considere regressão linear múltipla. Essa pergunta pode ser enganosamente simples, mas estou tentando entender intuitivamente por que, digamos, se eu tenho preditores X1 e X2, as interações entre esses preditores podem ser capturadas adequadamente por X1 * X2. Eu sei que os termos de interação são modelados como produtos, apenas …

8 multiple-regression  feature-selection  interaction