Estatísticas e Big Data

Existe alguma prova para o CLT não usar funções características, um método mais simples? Talvez os métodos de Tikhomirov ou Stein? Algo independente que você pode explicar a um estudante universitário (primeiro ano de matemática ou física) e leva menos de uma página?

11 mathematical-statistics  central-limit-theorem  characteristic-function 

O pacote R mclustusa o BIC como critério para a seleção do modelo de cluster. Pelo meu entendimento, um modelo com o menor BIC deve ser selecionado em relação a outros modelos (se você se importa apenas com o BIC). No entanto, quando os valores do BIC são todos negativos, …

11 r  clustering  gaussian-mixture  bic  model-based-clustering 

Tenho uma distribuição de salários e quero comparar a diferença de médias entre homens e mulheres. Eu sei que há o teste T do aluno para comparar duas médias, mas depois de sugerir a ANOVA, recebi algumas críticas dizendo que a ANOVA é para comparar mais de duas médias. O …

11 hypothesis-testing  anova  t-test 

Estou realizando pesquisas para analisar as diferenças na densidade e na riqueza de espécies de peixes ao usar dois métodos diferentes de censo visual subaquático. Meus dados eram originalmente dados de contagem, mas normalmente isso é alterado para densidade de peixes, mas eu ainda decidi usar um Poisson GLM, o …

11 r  generalized-linear-model  poisson-distribution  offset 

Suponha que eu tenha um classificador (pode ser um dos classificadores padrão, como árvore de decisão, floresta aleatória, regressão logística etc. etc.) para detecção de fraudes usando o código abaixo library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is …

11 classification  supervised-learning 

Estou lendo o artigo da Wikipedia sobre modelos estatísticos aqui e estou um pouco perplexo quanto ao significado de "modelos estatísticos não paramétricos", especificamente: Um modelo estatístico não é paramétrico se o conjunto de parâmetros ΘΘ\Theta for dimensional infinito. Um modelo estatístico é semiparamétrico se tiver parâmetros de dimensão finita …

11 nonparametric  model 

Qual é a maneira correta de especificar uma diferença no modelo de diferença com os dados do painel no nível individual? Aqui está a configuração: Suponha que eu tenha dados de painel em nível individual incorporados nas cidades por vários anos e o tratamento varie no nível do ano da …

11 econometrics  panel-data  fixed-effects-model  difference-in-difference 

Nosso professor não está entrando na representação matemática ou geométrica da regressão linear múltipla e isso me deixa um pouco confuso. Por um lado, ainda é chamado de regressão linear múltipla, mesmo em dimensões mais altas. Por outro lado, se tivermos, por exemplo, e pudermos para e , isso não …

11 multiple-regression  high-dimensional 

Eu tenho dados de demanda por hora e meia, que é uma série temporal multi-sazonal. Eu usei tbatsno forecastpacote em R e obtive resultados como este: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Isso significa que a série não deve necessariamente usar a transformação Box-Cox, e o termo de erro é …

11 r  time-series  diagnostic  multiple-seasonalities  tbats 

Fiquei me perguntando se havia alguma técnica de aprendizado de máquina (não supervisionada) para modelar dados longitudinais? Eu sempre usei modelos de efeitos mistos (principalmente não lineares), mas queria saber se existem outras maneiras de fazer isso (usando o aprendizado de máquina). Por aprendizado de máquina, quero dizer floresta aleatória, …

11 machine-learning  mixed-model 

Estou procurando um modelo entre os preços das ações e o clima. Tenho o preço do MWatt comprado entre os países da Europa e muitos valores sobre o clima (arquivos Grib). A cada hora em um período de 5 anos (2011-2015). Preço / dia Isso é por dia durante um …

11 time-series  forecasting  predictive-models  modeling  large-data 

Eu fiz um curso de ML anteriormente, mas agora que estou trabalhando com projetos relacionados ao ML no meu trabalho, estou lutando bastante para realmente aplicá-lo. Tenho certeza de que o que estou fazendo já foi pesquisado / tratado antes, mas não consigo encontrar tópicos específicos. Todos os exemplos de …

11 machine-learning  references  train  application 

Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao mesmo tempo …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Eu estava lendo o documento de normalização em lote [1] e tinha uma seção em que é apresentado um exemplo, tentando mostrar por que a normalização deve ser feita com cuidado. Sinceramente, não consigo entender como o exemplo funciona e estou genuinamente muito curioso para entender que eles são tão …

11 machine-learning  neural-networks  conv-neural-network 

Estou tentando fazer a seleção do modelo em alguns candidatos a preditores usando o LASSO com um resultado contínuo. O objetivo é selecionar o modelo ideal com o melhor desempenho de previsão, o que geralmente pode ser feito através da validação cruzada K-fold após a obtenção do caminho da solução …

11 cross-validation  survey  lasso  glmnet