Estatísticas e Big Data

Existe uma técnica de modelagem como LOESS que permite zero, uma ou mais descontinuidades, em que o momento das descontinuidades não é conhecido a priori? Se existe uma técnica, existe uma implementação existente no R?

14 r  regression  curve-fitting  change-point  loess 

Um colega do meu escritório me disse hoje: "Os modelos de árvores não são bons porque são pegos por observações extremas". Uma pesquisa aqui resultou neste segmento que basicamente suporta a reivindicação. O que me leva à pergunta - em que situação um modelo CART pode ser robusto e como …

14 regression  classification  robust  cart 

Estou aplicando um algoritmo de floresta aleatória como um classificador em um conjunto de dados de microarrays que são divididos em dois grupos conhecidos com milhares de recursos. Após a execução inicial, analiso a importância dos recursos e executo o algoritmo em árvore novamente com os 5, 10 e 20 …

14 r  machine-learning  classification  random-forest 

Estou procurando um Rpacote para estimar os coeficientes dos modelos logit com efeito fixo individual (interceptação individual) usando o estimador de Chamberlain de 1980. É frequentemente conhecido como estimador de logit de efeito fixo de Chamberlain. É um estimador clássico quando se lida com dados binários do painel de resultados …

14 r  logistic  panel-data  clogit 

Como alguém que precisa de conhecimento estatístico, mas não é um estatístico formalmente treinado, acho útil ter um fluxograma (ou algum tipo de árvore de decisão) para me ajudar a escolher a abordagem correta para resolver um problema específico (por exemplo, "você precisa disso, saiba disso e daquilo e considere …

14 hypothesis-testing  data-mining  eda 

Eu estava olhando esta páginae notamos os métodos para intervalos de confiança de lme e lmer em R. Para quem não conhece R, essas são funções para gerar efeitos mistos ou modelos de vários níveis. Se eu tiver efeitos fixos em algo como um design de medidas repetidas, o que …

14 r  confidence-interval  mixed-model  repeated-measures  sas 

Atualmente, estou terminando um trabalho e me deparei com essa pergunta de ontem, o que me levou a fazer a mesma pergunta para mim. É melhor fornecer ao meu gráfico o erro padrão real dos dados ou o estimado na minha ANOVA? Como a pergunta de ontem era bastante inespecífica …

14 data-visualization  anova  mixed-model  standard-error 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Eu quero agrupar ~ 22000 pontos. Muitos algoritmos de agrupamento funcionam melhor com suposições iniciais de maior qualidade. Quais ferramentas …

14 data-visualization  clustering  software 

Quais são as conferências anuais de estatística mais significativas? Regras: Uma conferência por resposta Inclua um link para a conferência

14 conferences 

Existe uma variante de reforço chamada gentleboost . Como o impulso suave difere do AdaBoost mais conhecido ?

14 machine-learning  boosting 

Estou curioso para saber se existem técnicas gráficas específicas ou mais aplicáveis ​​à modelagem de equações estruturais. Eu acho que isso pode se enquadrar em categorias de ferramentas exploratórias para análise de covariância ou diagnóstico gráfico para avaliação do modelo SEM. (Não estou pensando nos diagramas de caminho / gráfico …

14 sem  data-visualization 

Estou comparando duas distribuições com a divergência de KL, que me retorna um número não padronizado que, de acordo com o que li sobre essa medida, é a quantidade de informações necessárias para transformar uma hipótese na outra. Eu tenho duas perguntas: a) Existe uma maneira de quantificar uma divergência …

14 distributions  kullback-leibler  information-geometry 

Eu continuo vendo essa famosa citação em todos os lugares, mas não consigo entender a parte enfatizada todas as vezes. Um homem que 'rejeita' provisoriamente uma hipótese, como uma questão de prática habitual, quando a significância está no nível de 1% ou mais, certamente estará enganado em não mais de …

14 hypothesis-testing  statistical-significance  references  experiment-design  philosophical 

Alguém pode dar uma explicação detalhada (e clara) do que sua "gravidade" significa (não é apenas a função de poder avaliada em diferentes discrepâncias tomadas como hipótese nula?) E como ela se encaixa na literatura de testes estatísticos em geral?

14 hypothesis-testing  statistical-significance 

Vou usar a divergência KL no meu código python e recebi este tutorial . Nesse tutorial, implementar a divergência de KL é bastante simples. kl = (model * np.log(model/actual)).sum() Pelo que entendi, a distribuição de probabilidade de modele actualdeve ser <= 1. Minha pergunta é: qual é o limite máximo …

14 machine-learning  distance  kullback-leibler