Perguntas com a marcação «sparse»

Vi em algum lugar que distâncias clássicas (como a distância euclidiana) se tornam fracamente discriminantes quando temos dados multidimensionais e esparsos. Por quê? Você tem um exemplo de dois vetores de dados esparsos em que a distância euclidiana não apresenta bom desempenho? Nesse caso, que semelhança devemos usar?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Eu aprendi sobre o PCA algumas aulas atrás na aula e, pesquisando mais sobre esse conceito fascinante, fiquei sabendo sobre o PCA escasso. Eu queria perguntar, se não estou errado, é isso o PCA escasso: No PCA, se você tiver pontos de dados com variáveis , poderá representar cada ponto …

24 machine-learning  pca  sparse 

Existe uma implementação de floresta aleatória R que funciona bem com dados muito esparsos? Eu tenho milhares ou milhões de variáveis ​​de entrada booleanas, mas apenas centenas ou mais serão VERDADEIRAS para qualquer exemplo. Sou relativamente novo no R e notei que há um pacote 'Matrix' para lidar com dados …

23 r  random-forest  sparse 

Quais são as principais diferenças entre dados esparsos e dados ausentes? E como isso influencia o aprendizado de máquina? Mais especificamente, que efeito os dados esparsos e ausentes têm sobre algoritmos de classificação e algoritmos de regressão (números preditores). Estou falando de uma situação em que a porcentagem de dados …

20 machine-learning  dataset  missing-data  sparse 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 5 anos . Estou tentando compilar uma lista de algoritmos de clustering que são: Implementado em R Opere …

18 r  clustering  sparse 

Uma norma é única (pelo menos em parte) porque está no limite entre não convexo e convexo. Uma norma é a norma convexa 'mais esparsa' (certo?).L1L1L_1p=1p=1p=1L1L1L_1 Entendo que a norma euclidiana tem raízes na geometria e tem uma interpretação clara quando as dimensões têm as mesmas unidades. Mas não entendo …

13 regression  regularization  sparse 

Estou tentando classificar mensagens em diferentes categorias usando um SVM. Eu compilei uma lista de palavras / símbolos desejáveis ​​do conjunto de treinamento. Para cada vetor, que representa uma mensagem, defino a linha correspondente como 1se a palavra estiver presente: "corpus" é: [mary, pequena, cordeiro, estrela, brilho] primeira mensagem: "mary …

12 classification  svm  sparse 

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma ℓpℓp\ell_p e faz alguma minimização. Minha pergunta é, qual é o ℓpℓp\ell_p norma, e o ℓp,qℓp,q\ell_{p, q} norma mista? E como eles são relevantes para a regularização? obrigado

12 machine-learning  regularization  sparse 

O método clássico de análise de componentes principais (PCA) é fazê-lo em uma matriz de dados de entrada cujas colunas têm média zero (o PCA pode "maximizar a variação"). Isso pode ser alcançado facilmente centralizando as colunas. No entanto, quando a matriz de entrada for esparsa, a matriz centralizada será …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Estou trabalhando em um conjunto de dados. Depois de usar algumas técnicas de identificação de modelos, criei um modelo ARIMA (0,2,1). Usei a detectIOfunção no pacote TSAem R para detectar um outlier inovador (IO) na 48ª observação do meu conjunto de dados original. Como faço para incorporar esse erro externo …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

É bem sabido (por exemplo, no campo do sensoriamento compressivo) que a norma é "indutora de dispersão", no sentido de que se minimizarmos o funcional (para matriz fixa A e vetor → b ) f A , → b ( → x ) = ‖ A → x - → …

10 regression  matrix  normalization  regularization  sparse 

Eu estou tentando gerar uma matriz de correlação (psd simétrico) com uma estrutura de esparsidade pré-especificada (especificada por um gráfico nos nós ). Os nós conectados no gráfico têm correlação , resto todos são 0 e a diagonal é tudo 1.p ρ ∼ U ( 0 , 1 )p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho …

9 correlation  matrix  sparse  correlation-matrix 

Tenho entradas extremamente esparsas, por exemplo, locais de determinados recursos em uma imagem de entrada. Além disso, cada recurso pode ter várias detecções (não tenho certeza se isso influenciará o design do sistema). Vou apresentar como uma imagem binária do canal k com pixels ON representando a presença desse recurso …

9 neural-networks  deep-learning  sparse 

Alguém tem experiência com abordagens para selecionar o número de componentes principais esparsos para incluir em um modelo de regressão?

9 pca  sparse  regression-strategies 

Entendo que o sensor comprimido encontra a solução mais esparsa para onde , e , .X ∈ R D Um ∈ R k x D y ∈ R k k &lt; &lt; Dy=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k&lt;&lt;Dk&lt;&lt;Dk << D Dessa maneira, podemos reconstruir (o …

8 lasso  sparse