O que é um "kernel" em inglês simples?

Existem vários usos distintos:

estimativa da densidade do kernel
truque do kernel
suavização do kernel

Por favor, explique o que o "núcleo" neles significa, em inglês simples, com suas próprias palavras.

kernel-trick kernel-smoothing

— Neil McGuigan
fonte

Para não ser rude, mas essa não é uma pergunta que já foi respondida ad náusea na Wikipedia e similares? Google me deu a resposta dentro de 15 segundos ...

— Joris Meys

Eu odeio absolutamente respostas da Wikipedia para estatísticas. Há bagunças simbólicas e desmedidas. Estou procurando uma gema de resposta que possa explicar a resposta em inglês simples, pois acredito que isso mostra um nível de entendimento mais profundo do que uma equação matemática. Existem muitas perguntas populares em "inglês simples" aqui e por boas razões.

— Neil McGuigan

Respostas:

Tanto na literatura estatística (estimativa da densidade do kernel ou suavização do kernel) quanto no aprendizado de máquina (métodos do kernel), o kernel é usado como uma medida de similaridade. Em particular, a função do kernel define a distribuição de semelhanças de pontos em torno de um dado ponto . denota a semelhança do ponto com outro dado ponto . $k(x,.)$ $x$ $k(x,y)$ $x$ $y$

— ebony1
fonte

Esta é uma boa maneira de colocá-lo. Gostaria de saber se você pode generalizar essa descrição para aplicar também ao kernel da 'estimativa de densidade do kernel'.

— shabbychef

De certa forma, sim. Uma maneira de entender a estimativa da densidade do kernel é aproximar a densidade de um ponto de alguma distribuição como uma média ponderada de suas semelhanças com um conjunto de pontos da distribuição. Portanto, a noção de similaridade também desempenha um papel aqui.

— precisa saber é o seguinte

Entendo que "kernel" em estatística seja emprestado originalmente do jargão usado na discussão de equações integrais.

— Nick Cox

Parece haver pelo menos dois significados diferentes de "kernel": um mais comumente usado em estatística; o outro no aprendizado de máquina.

Nas estatísticas, "kernel" é mais comumente usado para se referir à estimativa de densidade e suavização do kernel .

Uma explicação direta dos núcleos na estimativa de densidade pode ser encontrada ( aqui ).

No aprendizado de máquina, "kernel" geralmente é usado para se referir ao truque do kernel , um método de usar um classificador linear para resolver um problema não linear ", mapeando as observações não lineares originais em um espaço de maior dimensão".

Uma visualização simples pode ser imaginar que toda a classe está dentro do raio da origem em um plano x, y (classe : ); e toda a classe está além do raio nesse plano (classe : ). Nenhum separador linear é possível, mas claramente um círculo de raio separará perfeitamente os dados. Podemos transformar os dados em espaço tridimensional calculando três novas variáveis , e $0$ $r$ $0$ $x^2 + y^2 < r^2$ $1$ $r$ $1$ $x^2 + y^2 > r^2$ $r$ $x^2$ $y^2$ $\sqrt{2}xy$ . As duas classes serão agora separáveis por um plano neste espaço tridimensional. A equação desse hiperplano de separação ideal onde e é e, nesse caso, omite . (Se o círculo estiver desviado da origem, o hiperplano de separação ideal também variará em .) O kernel é a função de mapeamento que calcula o valor dos dados bidimensionais no espaço tridimensional. $z_1 = x^2, z_2 = y^2$ $z_3 = \sqrt{2}xy$ $z_1 + z_2 = 1$ $z_3$ $z_3$

Em matemática, existem outros usos de "kernels" , mas esses parecem ser os principais em estatística.

— Thylacoleo
fonte

Muito agradável! Vou usar seu exemplo com o círculo para explicar os métodos do kernel, pois é a melhor visualização que encontrei até agora. Obrigado!

— Joris Meys

Seguindo o exemplo de Thylacoleo usando o círculo para explicar o truque do kernel (não tenho reputação suficiente para adicionar um comentário diretamente à sua resposta) Houve um erro de digitação simples na equação para o hiperplano de separação? e deve ser z1 + z2 = r ^ 2, em vez de z1 + z2 = 1? Ou entendo mal? Concordo que é um bom exemplo simples para ilustrar o conceito. Obrigado. Embora a definição de z3 ainda pareça um pouco misteriosa, mas aparentemente não importa para o exemplo centrado na origem.

— Alex Blakemore

Sim, houve um erro de digitação. Obrigado por isso Alex. Eu nem sempre corrigir :-)

— Thylacoleo

O vídeo a seguir foi proposto por um potencial editor anônimo como "uma ótima visualização do que Thylacoleo explicou:" youtube.com/watch?v=3liCbRZPrZA

— gung - Reinstate Monica

Usamos produtos internos para mapear dados bidimensionais para tridimensionais?

— SmallChess