Estatísticas e Big Data

Existe uma maneira de uma vez que uma árvore de classificação complexa seja construída usando rpart (em R), para organizar as regras de decisão produzidas para cada classe? Então, em vez de obter uma árvore enorme, temos um conjunto de regras para cada uma das classes? (se sim, como?) Aqui …

11 r  classification  cart  rpart 

Você pode ter ouvido falar sobre o recente surto de E. coli entero- hemorrágica ( EHEC ) na Alemanha . Que perguntas um estatístico faria sobre a análise EHEC? Estou pensando em perguntas e respostas entre repórteres / funcionários públicos, não especialistas, dizem professores e engenheiros com diploma de mestrado …

11 data-visualization  teaching 

Estou usando a indexação semântica latente para encontrar semelhanças entre documentos ( obrigado, JMS! ) Após a redução da dimensão, tentei o agrupamento k-means para agrupar os documentos em clusters, o que funciona muito bem. Mas eu gostaria de ir um pouco mais longe e visualizar os documentos como um …

11 data-visualization  clustering  python  multidimensional-scaling 

Estou trabalhando com alguns conjuntos de dados grandes usando o pacote gbm em R. Tanto minha matriz preditora quanto meu vetor de resposta são muito escassos (ou seja, a maioria das entradas é zero). Eu esperava construir árvores de decisão usando um algoritmo que aproveitasse essa escassez, como foi feito …

11 r  regression  machine-learning  classification  cart 

Ensino um curso introdutório de geografia econômica. Para ajudar meus alunos a entender melhor os tipos de países encontrados na economia mundial contemporânea e apreciar as técnicas de redução de dados, quero construir uma tarefa que crie uma tipologia de diferentes tipos de países (por exemplo, alta renda e alta …

11 pca  factor-analysis  dimensionality-reduction 

Como estagiário e novato em R, estou tendo um tempo muito difícil tentando gerar qqplots com uma proporção de 1: 1. O ggplot2 parece oferecer muito mais controle sobre plotagem do que os pacotes de plotagem R padrão, mas não consigo ver como fazer um qqplot no ggplot2 para comparar …

11 r  distributions  ggplot2  qq-plot 

O teste F clássico para subconjuntos de variáveis ​​na regressão multilinear tem a forma queSSE(R)é a soma dos erros quadráticos no modelo 'reduzido', que se aninha dentro do modelo 'grande'Bedfsão os graus de liberdade dos dois modelos. Sob a hipótese nula de que as variáveis ​​extras no modelo "grande" não …

11 regression  hypothesis-testing  power-analysis  non-central  f-distribution 

Usei uma grande variedade de testes para os meus dados de tese, de ANOVAs paramétricos e testes t a testes não-paramétricos de Kruskal-Wallis e Mann-Whitneys, bem como ANOVAs de duas vias com transformações de classificação e GzLMs com binários, poisson e dados proporcionais. Agora preciso relatar tudo enquanto escrevo tudo …

11 data-visualization  median  error 

O modelo "Acumulador Balístico Linear" (LBA) é um modelo bastante bem-sucedido para o comportamento humano em tarefas de decisão simples e rápidas. Donkin et al (2009, PDF ) fornecem código que permite estimar os parâmetros do modelo, dados dados comportamentais humanos, e eu copiei esse código (com algumas pequenas alterações …

11 r  stochastic-processes 

Quais são os benefícios de atribuir certos valores iniciais às probabilidades de transição em um modelo de Markov oculto? Eventualmente, o sistema os aprenderá; então, qual é o sentido de fornecer valores que não sejam aleatórios? O algoritmo subjacente faz alguma diferença como Baum – Welch? Se eu conhecer as …

11 machine-learning  expectation-maximization  hidden-markov-model 

Quero treinar um classificador, digamos SVM, floresta aleatória ou qualquer outro classificador. Um dos recursos do conjunto de dados é uma variável categórica com 1000 níveis. Qual é a melhor maneira de reduzir o número de níveis nessa variável. No R, existe uma função chamada combine.levels()no pacote Hmisc , que …

11 classification  svm  random-forest  many-categories 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 6 meses . fundo Eu li sobre StatProb.com a partir de um …

11 probability  references  methodology 

Uma estatística típica de processamento de imagem é o uso dos recursos de textura Haralick , que são 14. Eu estou pensando sobre o 14º desses recursos: Dado um mapa de adjacência (que podemos simplesmente ver uma distribuição empírica de dois números inteiros i , j < 256 ), ele …

11 probability  computational-statistics 

Eu tenho o número total de chamadas recebidas a cada semana e as plotei em um gráfico, com quase três anos. Pelo visto, parece que houve uma queda maciça no Natal, que parece não ter se recuperado, parece que houve uma mudança radical nos pedidos. Existe um teste que eu …

11 time-series  statistical-significance  change-point 

Digamos que eu tenha um modelo de classificação preditiva baseado em uma floresta aleatória (usando o pacote randomForest em R). Eu gostaria de configurá-lo para que os usuários finais possam especificar um item para o qual gerar uma previsão e gerar uma probabilidade de classificação. Até agora, não há problema. …

11 machine-learning  random-forest