Perguntas com a marcação «high-dimensional»

Li que "a distância euclidiana não é uma boa distância em grandes dimensões". Acho que essa afirmação tem algo a ver com a maldição da dimensionalidade, mas o que exatamente? Além disso, o que são 'altas dimensões'? Tenho aplicado clustering hierárquico usando distância euclidiana com 100 recursos. Até quantos recursos …

240 machine-learning  clustering  distance-functions  metric  high-dimensional 

Ouvi muitas vezes sobre a maldição da dimensionalidade, mas de alguma forma ainda não consigo entender a ideia, está tudo nebuloso. Alguém pode explicar isso da maneira mais intuitiva, como você explicaria a uma criança, para que eu (e os outros confusos como eu sou) entendesse isso definitivamente? EDITAR: Agora, …

91 machine-learning  dimensionality-reduction  high-dimensional 

Eu perguntei isso anteriormente no StackOverflow, mas parece que pode ser mais apropriado aqui, já que não obteve respostas no SO. É uma espécie de cruzamento entre estatística e programação. Preciso escrever algum código para fazer o PCA (Principal Component Analysis). Naveguei pelos algoritmos conhecidos e implementei este , que, …

54 pca  algorithms  model-evaluation  high-dimensional 

Quero usar a regressão Lasso ou cume para um modelo com mais de 50.000 variáveis. Quero fazê-lo usando o pacote de software em R. Como posso estimar o parâmetro de encolhimento ( )?λλ\lambda Edições: Aqui está o ponto que eu cheguei: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), …

36 r  lasso  ridge-regression  high-dimensional 

Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos aprendidos por uma …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Estou executando um pequeno experimento com regressão LASSO em R para testar se é capaz de encontrar um par preditor perfeito. O par é definido assim: f1 + f2 = resultado O resultado aqui é um vetor predeterminado chamado 'idade'. F1 e f2 são criados pegando metade do vetor de …

20 r  regression  feature-selection  lasso  high-dimensional 

Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância euclidiana padrão.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Entendo o que é "maldição da dimensionalidade", e resolvi alguns problemas de otimização dimensional e conheço o desafio das possibilidades exponenciais. No entanto, duvido que a "maldição da dimensionalidade" exista na maioria dos dados do mundo real (bem, vamos deixar imagens ou vídeos de lado por um momento, estou pensando …

17 clustering  dimensionality-reduction  high-dimensional 

Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlog⁡p/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de regressão. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = …

16 regression  lasso  convergence  high-dimensional 

Os lugares que eu tenho lido sobre a maldição da dimensionalidade explicam isso em conjunto com o kNN principalmente, e com os modelos lineares em geral. Eu vejo regularmente os principais executivos do Kaggle usando milhares de recursos no conjunto de dados que dificilmente tem 100 mil pontos de dados. …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de dimensão?

13 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Eu acredito que o título desta pergunta diz tudo.

12 clustering  k-means  high-dimensional 

Nosso professor não está entrando na representação matemática ou geométrica da regressão linear múltipla e isso me deixa um pouco confuso. Por um lado, ainda é chamado de regressão linear múltipla, mesmo em dimensões mais altas. Por outro lado, se tivermos, por exemplo, e pudermos para e , isso não …

11 multiple-regression  high-dimensional 

Estou lendo o livro de Kevin Murphy: Machine Learning - uma perspectiva probabilística. No primeiro capítulo, o autor está explicando a maldição da dimensionalidade e há uma parte que eu não entendo. Como exemplo, o autor declara: Considere que as entradas são distribuídas uniformemente ao longo de um cubo de …

11 self-study  k-nearest-neighbour  high-dimensional 

Isso é citado com muita frequência ao mencionar a maldição da dimensionalidade e vai (fórmula à direita chamada contraste relativo) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 O resultado do teorema mostra que a diferença entre as distâncias máxima e mínima para um …

10 machine-learning  distance-functions  high-dimensional