Perguntas com a marcação «kernel-trick»

Executei um SVM em um determinado conjunto de dados e fiz a seguinte observação: Se eu alterar o número de recursos para a construção do classificador, o número de vetores de suporte resultantes também será alterado. Eu gostaria de saber como explicar esse tipo de cenário.

12 machine-learning  classification  svm  kernel-trick 

Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para artigos …

12 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning 

Eu sou novo no kernels e encontrei um problema ao tentar kernelizar o kNN. Preliminares Estou usando um kernel polinomial: K(x,y)=(1+⟨x,y⟩)dK(x,y)=(1+⟨x,y⟩)dK(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d O kNN euclidiano típico usa a seguinte métrica de distância: d(x,y)=||x−y||d(x,y)=||x−y||d(\mathbf{x}, \mathbf{y}) = \vert\vert \mathbf{x} - \mathbf{y} \vert\vert Deixe mapear para algum espaço …

12 machine-learning  kernel-trick  k-nearest-neighbour 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 3 anos . Eu tenho uma matriz numpy com m colunas en linhas, as colunas sendo dimensões e …

12 python  kernel-trick  numpy 

Eu tenho lido sobre o método Nyström para aproximação de kernel de baixo escalão. Este método é implementado no scikit-learn [1] como um método para projetar amostras de dados para uma aproximação de baixo escalão do mapeamento de recursos do kernel. Para o melhor de meu conhecimento, dado um conjunto …

12 scikit-learn  dimensionality-reduction  kernel-trick  nonlinear 

Um colega tem uma função e para os nossos propósitos é uma caixa-preta. A função mede a semelhança de dois objetos.s ( a , b )ssss ( a , b )s(a,b)s(a,b) Temos certeza de que tem essas propriedades:sss As pontuações de similaridade são números reais entre 0 e 1, inclusive. …

11 kernel-trick  distance  similarities  rbf-kernel 

Gostaria de treinar um SVM para classificar casos (TRUE / FALSE) com base em 20 atributos. Eu sei que alguns desses atributos são altamente correlacionados. Portanto, minha pergunta é: o SVM é sensível à correlação ou redundância entre os recursos? Alguma referência?

11 svm  multicollinearity  kernel-trick 

Problemas de classificação com limites não lineares não podem ser resolvidos por um simples perceptron . O código R a seguir é para fins ilustrativos e baseia-se neste exemplo em Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1, …

10 r  neural-networks  svm  kernel-trick  perceptron 

Eu tenho alguns dados que existem em um gráfico . Os vértices pertencem a uma das duas classes e estou interessado em treinar um SVM para distinguir entre as duas classes. Um kernel apropriado para isso é o kernel de difusão , onde é o Laplaciano de e é um …

10 svm  cross-validation  kernel-trick  graph-theory 

Por um tempo, pareceu que Fisher Kernels poderia se tornar popular, pois parecia ser uma maneira de construir kernels a partir de modelos probabilísticos. No entanto, raramente os vi sendo usados ​​na prática, e tenho muita autoridade que eles tendem a não funcionar muito bem. Eles contam com o cálculo …

10 machine-learning  probability  kernel-trick  generative-models 

Recentemente, usei o dimensionamento de saídas SVM de Platt para estimar as probabilidades de eventos padrão. Alternativas mais diretas parecem ser "Regressão logística do kernel" (KLR) e a "Máquina de vetor de importação" relacionada. Alguém pode dizer qual método de kernel que fornece resultados de probabilidade é atualmente o estado …

10 logistic  svm  kernel-trick 

Os métodos do kernel são muito eficazes em muitas tarefas de classificação supervisionada. Então, quais são as limitações dos métodos do kernel e quando usar os métodos do kernel? Especialmente na era dos dados em larga escala, quais são os avanços dos métodos do kernel? Qual é a diferença entre …

10 machine-learning  kernel-trick 

A regressão de cume pode ser expressa como que é o rótulo previsto , o identificar matriz, o objeto que está tentando encontrar um rótulo para e o matriz de objetos tal que:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x Iddxdxxnxdnxi=(xi,1,...,Xi,d)∈Rdy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X = ⎛⎝⎜⎜⎜⎜⎜x1 …

10 regression  ridge-regression  kernel-trick 

Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

Estou estudando a diferença entre regularização na regressão RKHS e regressão linear, mas tenho dificuldade em entender a diferença crucial entre as duas. Dados os pares entrada-saída , quero estimar uma função seguinte forma que é uma função do kernel. Os coeficientes podem ser encontrados resolvendo onde, com algum abuso …

9 regression  generalized-linear-model  regularization  kernel-trick  rbf-kernel