Estatísticas e Big Data data-mining

3

Distribuição binomial negativa vs distribuição binomial

Qual é a diferença entre a distribuição binomial negativa e a distribuição binomial? Tentei ler on-line e descobri que a distribuição binomial negativa é usada quando os pontos de dados são discretos, mas acho que até a distribuição binomial pode ser usada para pontos de dados discretos.

22 categorical-data data-mining binomial negative-binomial

8

Execute o agrupamento K-means (ou seus parentes próximos) com apenas uma matriz de distância, não dados de pontos por recurso

Quero executar o agrupamento K-means nos objetos que tenho, mas os objetos não são descritos como pontos no espaço, ou seja, por objects x featuresconjunto de dados. No entanto, sou capaz de calcular a distância entre dois objetos (ela se baseia em uma função de similaridade). Então, eu descarto a …

22 machine-learning clustering data-mining k-means distance

5

Nova maneira revolucionária de mineração de dados?

O trecho a seguir é do Hedge Fund Market Wizzards da Schwager (maio de 2012), uma entrevista com o sempre bem-sucedido gerente de fundos de hedge Jaffray Woodriff: Para a pergunta: "Quais são alguns dos piores erros que as pessoas cometem na mineração de dados?": Muitas pessoas pensam que estão …

21 data-mining curve-fitting out-of-sample

3

Primeiro passo para big data (

Suponha que você esteja analisando um enorme conjunto de dados na ordem de bilhões de observações por dia, em que cada observação possui algumas milhares de variáveis numéricas e categoriais esparsas e possivelmente redundantes. Digamos que exista um problema de regressão, um problema de classificação binária desequilibrada e uma tarefa …

21 r machine-learning data-mining large-data

4

As árvores de decisão quase sempre são binárias?

Quase todo exemplo de árvore de decisão que encontrei é uma árvore binária. Isso é praticamente universal? A maioria dos algoritmos padrão (C4.5, CART etc.) suporta apenas árvores binárias? Pelo que entendi, CHAID não se limita a árvores binárias, mas isso parece ser uma exceção. Uma divisão bidirecional seguida por …

21 machine-learning data-mining cart

2

Validação cruzada (generalização de erros) após a seleção do modelo

Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o CV …

21 machine-learning model-selection data-mining cross-validation

2

Se o agrupamento k-means é uma forma de modelagem de mistura gaussiana, ele pode ser usado quando os dados não são normais?

Estou lendo Bishop no algoritmo EM para GMM e a relação entre GMM e k-means. Neste livro, diz que k-means é uma versão de atribuição difícil do GMM. Gostaria de saber se isso implica que, se os dados que estou tentando agrupar não forem gaussianos, não posso usar o k-means …

21 clustering data-mining k-means gaussian-mixture

4

Como saber se os dados são linearmente separáveis?

Os dados têm muitos recursos (por exemplo, 100) e o número de instâncias é como 100.000. Os dados são escassos. Quero ajustar os dados usando regressão logística ou svm. Como sei se os recursos são lineares ou não lineares para que eu possa usar o truque do kernel se não …

21 machine-learning logistic svm data-mining

2

Onde e por que o aprendizado profundo brilha?

Hoje em dia, com toda a mídia falando e falando sobre aprendizado profundo, eu li algumas coisas básicas. Acabei de descobrir que é apenas mais um método de aprendizado de máquina para aprender padrões a partir dos dados. Mas minha pergunta é: onde e por que esse método brilha? Por …

20 machine-learning data-mining deep-learning deep-belief-networks

2

Função "Interessante" para perguntas do StackExchange

Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 8 anos . Estou tentando montar um pacote de mineração de dados para sites StackExchange e, em particular, estou tentando determinar as perguntas "mais interessantes". Gostaria de usar a pontuação da pergunta, mas …

20 data-mining predictive-models

1

Supervisão distante: supervisionada, semi-supervisionada ou ambas?

"Supervisão à distância" é um esquema de aprendizado no qual um classificador é aprendido, devido a um conjunto de treinamento pouco rotulado (os dados de treinamento são rotulados automaticamente com base em heurísticas / regras). Penso que tanto a aprendizagem supervisionada quanto a semi-supervisionada podem incluir essa "supervisão distante" se …

20 machine-learning data-mining dataset references unsupervised-learning

2

Impulsionar: por que a taxa de aprendizado é chamada de parâmetro de regularização?

O parâmetro de taxa de aprendizado ( ) no Gradient Boosting reduz a contribuição de cada novo modelo de base - tipicamente uma árvore rasa - que é adicionada na série. Foi demonstrado que aumenta drasticamente a precisão do conjunto de testes, o que é compreensível, pois em etapas menores, …

19 machine-learning data-mining predictive-models boosting overfitting

3

Qual é a diferença prática entre regras de associação e árvores de decisão na mineração de dados?

Existe uma descrição realmente simples das diferenças práticas entre essas duas técnicas? Ambos parecem ser usados para aprendizado supervisionado (embora as regras de associação também possam lidar com supervisão). Ambos podem ser usados para previsão O mais próximo que encontrei de uma descrição 'boa' é do livro de texto Statsoft …

19 data-mining association-rules

6

Programador que procura entrar no campo de aprendizado de máquina

Sou desenvolvedor de software (principalmente .NET e Python, com cerca de 5 anos de experiência). O que posso fazer para me ajudar a conseguir um emprego no campo de aprendizado de máquina ou realmente qualquer coisa que me inicie nesse campo? A pós-graduação é um requisito difícil?

19 machine-learning data-mining careers

6

Qual é a diferença entre mineração de dados e análise estatística?

Qual é a diferença entre mineração de dados e análise estatística? Para alguns antecedentes, minha formação em estatística tem sido, eu acho, bastante tradicional. Uma pergunta específica é colocada, a pesquisa é projetada e os dados são coletados e analisados para oferecer algumas dicas sobre essa questão. Como resultado, sempre …

19 data-mining terminology analysis

Perguntas com a marcação «data-mining»