Estatísticas e Big Data clustering

3

Distribuições de probabilidade de cluster - métodos e métricas?

Eu tenho alguns pontos de dados, cada um contendo 5 vetores de resultados discretos aglomerados, os resultados de cada vetor gerados por uma distribuição diferente (o tipo específico do qual não tenho certeza, meu melhor palpite é Weibull, com o parâmetro de forma variando em algum ponto exponencial à potência …

13 distributions clustering feature-selection kolmogorov-smirnov k-means

2

Como a distância de Gower calcula a diferença entre variáveis binárias '?

Eu tenho 17 variáveis numéricas e 5 binárias (0-1), com 73 amostras no meu conjunto de dados. Eu preciso executar uma análise de cluster. Eu sei que a distância de Gower é uma boa métrica para conjuntos de dados com variáveis mistas. No entanto, eu não conseguia entender como a …

13 clustering distance mixed-type-data

1

k-significa || tcp K-Means escalável ++

Bahman Bahmani e cols. introduziu k-means ||, que é uma versão mais rápida do k-means ++. Este algoritmo é retirado da página 4 de seu artigo , Bahmani, B., Moseley, B., Vattani, A., Kumar, R. e Vassilvitskii, S. (2012). K-means escalável ++. Anais da Fundação VLDB , 5 (7), 622-633. …

12 clustering k-means

5

Como executar a imputação de valores em um número muito grande de pontos de dados?

Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

4

Você pode comparar diferentes métodos de armazenamento em cluster em um conjunto de dados sem uma verdade básica por validação cruzada?

Atualmente, estou tentando analisar um conjunto de dados de documento de texto que não tem nenhuma verdade. Disseram-me que você pode usar a validação cruzada k-fold para comparar diferentes métodos de armazenamento em cluster. No entanto, os exemplos que eu vi no passado usam uma verdade básica. Existe uma maneira …

12 machine-learning clustering cross-validation unsupervised-learning

5

Posso usar o PCA para fazer a seleção de variáveis para análise de cluster?

Eu tenho que reduzir o número de variáveis para realizar uma análise de cluster. Minhas variáveis estão fortemente correlacionadas, então pensei em fazer uma Análise Fatorial PCA (análise de componentes principais). No entanto, se eu usar as pontuações resultantes, meus clusters não estão muito corretos (em comparação com classificações anteriores …

12 clustering pca feature-selection factor-analysis

2

Agrupando Dados Espaciais em R

Eu tenho um conjunto de dados mensais de temperatura da superfície do mar (SST) e quero aplicar alguma metodologia de cluster para detectar regiões com padrões SST semelhantes. Eu tenho um conjunto de arquivos de dados mensais em execução de 1985 a 2009 e quero aplicar o cluster a cada …

12 r clustering spatial

6

Livros ou artigos recomendados como introdução à Análise de Cluster?

Estou trabalhando em um pequeno corpus (200M) de texto, que quero explorar com algumas análises de cluster. Quais livros ou artigos sobre esse assunto você recomendaria?

12 machine-learning references clustering

1

Teste Exato de Fisher e Distribuição Hipergeométrica

Queria entender melhor o teste exato de Fisher, então inventei o seguinte exemplo de brinquedo, em que f e m correspondem a homens e mulheres e n e y correspondem a "consumo de refrigerante" como este: > soda_gender f m n 0 5 y 5 0 Obviamente, isso é uma …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Interpretando o resultado do agrupamento k-means em R

Eu estava usando a kmeansinstrução de R para executar o algoritmo k-means no conjunto de dados de íris de Anderson. Eu tenho uma pergunta sobre alguns parâmetros que obtive. Os resultados são: Cluster means: Sepal.Length Sepal.Width Petal.Length Petal.Width 1 5.006000 3.428000 1.462000 0.246000 Nesse caso, o que significa "Cluster significa"? …

12 r machine-learning clustering interpretation k-means

1

Método de cluster robusto para dados mistos em R

Estou procurando agrupar um pequeno conjunto de dados (64 observações de 4 variáveis de intervalo e uma única variável categórica de três fatores). Agora, sou bastante novo na análise de cluster, mas sei que houve um progresso considerável desde os dias em que o cluster hierárquico ou o k-means eram …

12 clustering model-based-clustering mixed-type-data

3

Como posso testar se meu cluster de dados binários é significativo

Estou fazendo análises de carrinho de compras, meu conjunto de dados é um conjunto de vetores de transação, com os itens que os produtos estão sendo comprados. Ao aplicar o k-means nas transações, sempre obterei algum resultado. Uma matriz aleatória provavelmente também mostraria alguns clusters. Existe uma maneira de testar …

12 clustering statistical-significance binary-data

1

O que fazer quando a matriz de covariância da amostra não é invertível?

Estou trabalhando em algumas técnicas de agrupamento, nas quais, para um determinado agrupamento de vetores da dimensão d, assumo uma distribuição normal multivariada e calculo o vetor médio da dimensão d da amostra e a matriz de covariância da amostra. Então, quando tentando decidir se um novo, sem ser visto, …

12 clustering multivariate-analysis covariance covariance-matrix matrix-inverse

2

Como sei que meu algoritmo de agrupamento k-means está sofrendo com a maldição da dimensionalidade?

Eu acredito que o título desta pergunta diz tudo.

12 clustering k-means high-dimensional

1

Seleção do modelo Mclust

O pacote R mclustusa o BIC como critério para a seleção do modelo de cluster. Pelo meu entendimento, um modelo com o menor BIC deve ser selecionado em relação a outros modelos (se você se importa apenas com o BIC). No entanto, quando os valores do BIC são todos negativos, …

11 r clustering gaussian-mixture bic model-based-clustering

Perguntas com a marcação «clustering»