Estatísticas e Big Data

Quero regredir a economia de combustível no deslocamento do motor, tipo de combustível, tração nas duas rodas vs. 4 rodas, potência, transmissão manual vs. automática e número de velocidades. Meu conjunto de dados ( link ) contém veículos de 2012 a 2014. fuelEconomy em milhas por galão engineDisplacement: tamanho do …

8 r  statistical-significance  multiple-regression  interpretation 

Não consigo interpretar este gráfico. Minha variável dependente é o número total de ingressos de cinema que serão vendidos para um show. As variáveis ​​independentes são o número de dias que restam antes do show, variáveis ​​fictícias da sazonalidade (dia da semana, mês do ano, feriado), preço, ingressos vendidos até …

8 r  regression  logistic  residuals  diagnostic 

Li alguns artigos que expressam que "trabalhos recentes" mostram que podemos usar um modelo VAR com dados brutos I (1), mas é preciso haver cointegração. Isso significa que não há razão para diferenciar os dados para modelagem VAR. Alguma referência em papel sobre isso?

8 references  var  cointegration 

Estou passando pela primeira parte do curso de estatística da Duke sobre o Coursera, e surge o conceito de bloqueio no projeto experimental. Se bem entendi, o bloqueio refere-se à separação dos sujeitos em grupos com base em alguma variável que pode afetar o resultado. No entanto, se já estamos …

8 experiment-design  blocking 

Seja a estatística de ordem de uma amostra iid do tamanho de . Suponha que os dados sejam censurados, de modo que apenas vejamos a parte superior por cento dos dados, ou seja,Coloque , qual é a distribuição assintótica de X(1),…,X(n)X(1),…,X(n)X_{(1)}, \ldots, X_{(n)}nnnexp(λ)exp⁡(λ)\exp(\lambda)(1−p)×100(1−p)×100(1-p) \times 100%X(⌊pn⌋),X(⌊pn⌋+1),…,X(n).X(⌊pn⌋),X(⌊pn⌋+1),…,X(n).X_{(\lfloor p n \rfloor )}, X_{(\lfloor …

8 self-study  mathematical-statistics  exponential  asymptotics  order-statistics 

Pela primeira vez (desculpe imprecisões / erros) , observei os processos gaussianos e, mais especificamente, assisti a este vídeo de Nando de Freitas . As notas estão disponíveis online aqui . Em algum momento, ele extrai 101010 amostras aleatórias de um normal multivariado gerado pela construção de uma matriz de …

8 machine-learning  simulation  stochastic-processes  gaussian-process 

Primeiro, deixe-me dar uma base; Resumirei minhas perguntas no final. A distribuição Beta, parametrizada por sua média e ϕ , possui Var ( Y ) = V ( μ ) / ( ϕ + 1 ) , onde V ( μ ) = μ ( 1 - μ ) é …

8 generalized-linear-model  lme4-nlme  binomial  beta-regression  quasi-likelihood 

Eu realmente não vi nenhum livro de probabilidades calcular expectativa condicional, exceto as σσ\sigma álgebras geradas por uma variável aleatória discreta. Eles simplesmente afirmam a existência de expectativa condicional, juntamente com suas propriedades, e deixam assim. Acho isso um pouco perturbador e estou tentando encontrar um método para calculá-lo. É …

8 probability  conditional-probability  conditional-expectation  conditioning  sigma-algebra 

No SGD, uma época seria a apresentação completa dos dados de treinamento e haveria N atualizações de peso por época (se houver N exemplos de dados no conjunto de treinamento). Se agora fizermos mini-lotes, digamos em lotes de 20. Agora, uma época consiste em atualizações de peso N / 20 …

8 machine-learning  neural-networks 

Parece que posso aprender bem os parâmetros e encontrar as probabilidades posteriores para os dados de treinamento, mas não tenho idéia de como fazer novas previsões sobre novos dados. O problema, em particular, vem das probabilidades de transição alteradas nas covariáveis, por isso não é trivial escrever código para prever …

8 r  hidden-markov-model  mixture 

Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de dados …

8 machine-learning  boosting  out-of-sample 

Um revisor meu está perguntando por que motivo usei dados não ponderados, em vez de dados ponderados. Eu discuti o assunto com um estatístico e sua resposta foi ao longo das linhas de Se você tiver observações independentes e fizer a média geral, sua variação será sempre menor que a …

8 variance  weighted-mean  weighted-data 

Minha rede neural recorrente (LSTM, resp. GRU) se comporta de uma maneira que não consigo explicar. O treinamento começa e treina bem (os resultados parecem muito bons) quando a precisão cai repentinamente (e a perda aumenta rapidamente) - métricas de treinamento e teste. Às vezes, a rede fica louca e …

8 neural-networks  lstm  gru 

Estou tentando implementar o HMC com uma matriz de massa não diagonal, mas estou sendo enganado por algumas das terminologias. De acordo com a revisão do BDA3 e Neal, o termo energia cinética (que eu acho que é sempre usado devido à conveniência) é K( p ) = pTM- 1p2.K(p)=pTM-1p2. …

8 bayesian  mcmc  monte-carlo 

Eu queria saber se alguém aqui pode explicar a diferença entre o modo de normalização l1, l2 e max no módulo sklearn.preprocessing.normalize ()? Depois de ler a documentação , não percebi a diferença!

8 normalization  scikit-learn