Estatísticas e Big Data clustering

2

Detectando padrões de trapaça em um exame com várias perguntas

QUESTÃO: Eu tenho dados binários nas perguntas do exame (correto / incorreto). Algumas pessoas podem ter tido acesso prévio a um subconjunto de perguntas e suas respostas corretas. Não sei quem, quantos ou quais. Se não houve trapaça, suponha que eu modele a probabilidade de uma resposta correta para o …

25 r clustering classification psychometrics

5

Procedimento de clustering em que cada cluster tem um número igual de pontos?

Eu tenho alguns pontos em e quero agrupar os pontos para que:X= { x1, . . . , xn}X={x1,...,xn}X=\{x_1,...,x_n\}RpRpR^p Cada grupo contém um número igual de elementos de . (Suponha que o número de clusters divida .)XXXnnn Cada agrupamento é "espacialmente coeso" em algum sentido, como os agrupamentos de -eans.kkk …

25 machine-learning clustering k-means unsupervised-learning

3

Determinar diferentes clusters de dados 1d do banco de dados

Eu tenho uma tabela de banco de dados de transferências de dados entre nós diferentes. Este é um enorme banco de dados (com quase 40 milhões de transferências). Um dos atributos é o número de transferências de bytes (nbytes) que variam de 0 bytes a 2 tera bytes. Gostaria de …

24 clustering k-means

3

A redução de dimensionalidade para visualização deve ser considerada um problema "fechado", resolvido pelo t-SNE?

Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos aprendidos por uma …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

2

Variáveis de cluster baseadas em correlações entre elas

Questões: Eu tenho uma grande matriz de correlação. Em vez de agrupar correlações individuais, quero agrupar variáveis com base em suas correlações umas com as outras, ou seja, se a variável A e a variável B tiverem correlações semelhantes às variáveis C a Z, então A e B devem fazer …

23 correlation clustering correlation-matrix

1

Usando a correlação como métrica de distância (para cluster hierárquico)

Gostaria de agrupar hierarquicamente meus dados, mas, em vez de usar a distância euclidiana, gostaria de usar a correlação. Além disso, como o coeficiente de correlação varia de -1 a 1, com -1 e 1 indicando "co-regulação" em meu estudo, estou tratando -1 e 1 como d = 0. Portanto, …

22 correlation clustering distance hierarchical-clustering

3

Cluster ou classificação supervisionada?

A segunda pergunta é que eu encontrei em uma discussão em algum lugar na Web falando sobre "cluster supervisionado", tanto quanto eu sei, cluster não é supervisionado, então qual é exatamente o significado por trás de "cluster supervisionado"? Qual a diferença em relação à "classificação"? Existem muitos links falando sobre …

22 clustering classification unsupervised-learning statistical-learning

2

Agrupando uma matriz binária

Eu tenho uma matriz semi-pequena de recursos binários da dimensão 250k x 100. Cada linha é um usuário e as colunas são "tags" binárias de algum comportamento do usuário, por exemplo, "likes_cats". user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 …

22 r clustering binary-data

8

Execute o agrupamento K-means (ou seus parentes próximos) com apenas uma matriz de distância, não dados de pontos por recurso

Quero executar o agrupamento K-means nos objetos que tenho, mas os objetos não são descritos como pontos no espaço, ou seja, por objects x featuresconjunto de dados. No entanto, sou capaz de calcular a distância entre dois objetos (ela se baseia em uma função de similaridade). Então, eu descarto a …

22 machine-learning clustering data-mining k-means distance

2

Como agrupar séries temporais?

Eu tenho uma pergunta sobre análise de cluster. Existem 3000 empresas, que precisam ser agrupadas de acordo com o uso de energia ao longo de 5 anos. Cada empresa possui valores para cada hora durante 5 anos. Gostaria de descobrir se algumas empresas têm o mesmo padrão de uso de …

22 time-series clustering spss

2

Comparando Clustering: Rand Index vs Variation of Information

Fiquei me perguntando se alguém tinha algum insight ou intuição por trás da diferença entre a Variação da Informação e o Índice Rand para comparar agrupamentos. Eu li o artigo " Comparando Clusterings - Uma Distância Baseada em Informações ", de Marina Melia (Journal of Multivariate Analysis, 2007), mas, além …

21 machine-learning clustering metric

4

Por que os dados mistos são um problema para os algoritmos de cluster baseado em euclidianos?

A maioria dos algoritmos clássicos de agrupamento e redução de dimensionalidade (agrupamento hierárquico, análise de componentes principais, médias médias, mapas auto-organizados ...) são projetados especificamente para dados numéricos, e seus dados de entrada são vistos como pontos em um espaço euclidiano. É claro que isso é um problema, pois muitas …

21 clustering dimensionality-reduction distance self-organizing-maps mixed-type-data

2

Se o agrupamento k-means é uma forma de modelagem de mistura gaussiana, ele pode ser usado quando os dados não são normais?

Estou lendo Bishop no algoritmo EM para GMM e a relação entre GMM e k-means. Neste livro, diz que k-means é uma versão de atribuição difícil do GMM. Gostaria de saber se isso implica que, se os dados que estou tentando agrupar não forem gaussianos, não posso usar o k-means …

21 clustering data-mining k-means gaussian-mixture

4

Como projetar um novo vetor no espaço PCA?

Depois de executar a análise de componentes principais (PCA), quero projetar um novo vetor no espaço do PCA (ou seja, encontrar suas coordenadas no sistema de coordenadas do PCA). Eu calculei o PCA na linguagem R usando prcomp. Agora eu devo poder multiplicar meu vetor pela matriz de rotação PCA. …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

4

Existe um algoritmo semelhante a uma árvore de decisão para cluster não supervisionado?

Eu tenho um conjunto de dados composto por 5 recursos: A, B, C, D, E. Eles são todos valores numéricos. Em vez de fazer um cluster baseado em densidade, o que eu quero fazer é agrupar os dados de maneira semelhante a uma árvore de decisão. A abordagem que quero …

20 r machine-learning clustering cart

Perguntas com a marcação «clustering»