Estatísticas e Big Data

Estou curioso sobre a implementação prática de uma divisão binária em uma árvore de decisão - no que se refere aos níveis de um preditor categórico .XjXjX{j} Especificamente, frequentemente utilizarei algum tipo de esquema de amostragem (por exemplo, ensacamento, superamostragem etc.) ao construir um modelo preditivo usando uma árvore de …

12 cart  rpart  partitioning 

Então, você decidiu apoiar a ideia de pesquisa reproduzível e deseja disponibilizar seus dados on-line para que as pessoas vejam e usem. A questão é: onde você o hospeda? Minha primeira inclinação é, obviamente, o espaço da web privado que tenho em um servidor universitário, mas essas coisas não são …

12 reproducible-research 

Estou tentando criar um SVM a partir de dados de treinamento em que um grupo é representado mais que o outro. No entanto, os grupos serão igualmente representados nos eventuais dados do teste. Portanto, eu gostaria de usar o class.weightsparâmetro da e1071interface do pacote R libsvmpara equilibrar a influência dos …

12 r  machine-learning  svm 

Como aproximar a seguinte integral usando a simulação MC? ∫1−1∫1−1|x−y|dxdy∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Obrigado! Editar (em algum contexto): estou tentando aprender como usar a simulação para aproximar integrais e estou praticando alguma prática quando me deparei com algumas dificuldades. Edit 2 + 3 : De alguma forma, fiquei …

12 r  self-study  monte-carlo 

Estou procurando modelar alguns dados, mas não tenho certeza de que tipo de modelo posso usar. Tenho dados de contagem e quero um modelo que forneça estimativas paramétricas da média e da variância dos dados. Ou seja, tenho vários fatores preditivos e quero determinar se algum deles influencia a variação …

12 variance  modeling  count-data  overdispersion  gamlss 

Estou tentando entender como o algoritmo Lars pode ser modificado para gerar o Lasso. Embora eu compreenda o LARS, não consigo ver a modificação do laço no artigo de Tibshirani et al. Em particular, não vejo por que a condição de sinal em que o sinal da coordenada diferente de …

12 lasso 

Essa pergunta ilustra a dificuldade de uma pessoa dominar estatísticas e probabilidades por conta própria, diante de recursos pouco desenvolvidos como a Wikipedia. Ocorreu-me que os consultores estatísticos, e alguns aqui, podem rotineiramente enfrentar o desafio de explicar certos conceitos e métodos a um cliente. Este é o outro lado …

12 teaching  references 

Eu quero ajustar o modelo misto usando lme4, nlme, pacote de regressão baiano ou qualquer outro disponível. Modelo misto nas convenções de codificação Asreml-R Antes de entrar em detalhes, talvez desejemos ter detalhes sobre as convenções asreml-R, para aqueles que não estão familiarizados com os códigos ASREML. y = Xτ …

12 r 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora de tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Eu tenho um conjunto de dados ascii que consiste em três colunas, mas apenas as duas últimas são dados reais. …

12 r 

Eu tenho que reduzir o número de variáveis ​​para realizar uma análise de cluster. Minhas variáveis ​​estão fortemente correlacionadas, então pensei em fazer uma Análise Fatorial PCA (análise de componentes principais). No entanto, se eu usar as pontuações resultantes, meus clusters não estão muito corretos (em comparação com classificações anteriores …

12 clustering  pca  feature-selection  factor-analysis 

Como definimos um estimador para dados provenientes de uma distribuição binomial? Para bernoulli, posso pensar em um estimador estimando um parâmetro p, mas no binômio não consigo ver quais parâmetros estimar quando n caracterizamos a distribuição? Atualizar: Por estimador, entendo uma função dos dados observados. Um estimador é usado para …

12 estimation  binomial 

Eu suspeito que a maioria dos usuários de ferramentas estatísticas são usuários auxiliares (pessoas que tiveram pouco ou nenhum treinamento formal em estatística). É muito tentador para pesquisadores e outros profissionais aplicar métodos estatísticos a seus dados simplesmente porque eles já o viram "feito antes" em artigos revisados ​​por pares, …

12 dataset  methodology 

Eu tenho uma série temporal binária com 1 quando o carro não está em movimento e 0 quando o carro está em movimento. Quero fazer uma previsão para um horizonte de tempo de até 36 horas à frente e para cada hora. Minha primeira abordagem foi usar um Naive Bayes …

12 r  time-series  forecasting  binary-data 

Gostaria de saber quais são as diferenças entre o teste t e a ANOVA na regressão linear? É um teste t para testar se alguma das pistas e interceptação tem média zero, enquanto a ANOVA para testar se todas as pistas têm média zero? Essa é a única diferença entre …

12 regression  anova  t-test 

O bootstrap, em sua forma padrão, pode ser usado para calcular intervalos de confiança das estatísticas estimadas, desde que as observações sejam iid. I. Visser et al. em " Intervalos de confiança para parâmetros ocultos do modelo de Markov ", usava uma auto-inicialização paramétrica para calcular ICs para parâmetros do …

12 confidence-interval  bootstrap  hidden-markov-model