Estatísticas e Big Data

O PCA é considerado um procedimento linear, no entanto: P C A (X) ≠ P C A ( X1 1) + P C A ( X2) + … + P C A ( Xn) ,PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), onde . Isto quer dizer que os autovetores obtidos pelos PCAs nas matrizes de …

35 pca  linear 

Estou gerando 8 bits aleatórios (0 ou 1) e concatenando-os juntos para formar um número de 8 bits. Uma simulação simples de Python produz uma distribuição uniforme no conjunto discreto [0, 255]. Estou tentando justificar por que isso faz sentido na minha cabeça. Se eu comparar isso com o lançamento …

35 binomial  random-generation  uniform 

Estou vendo alguns slides de palestras em um curso de ciência de dados que pode ser encontrado aqui: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Infelizmente, não consigo ver o vídeo desta palestra e, a certa altura do slide, o apresentador tem o seguinte texto: Alguns princípios fundamentais Pense como um bayesiano, verifique como um freqüentista …

35 bayesian  data-mining  frequentist 

Enquanto aprendia sobre o Gradient Boosting, não ouvi nenhuma restrição sobre as propriedades de um "classificador fraco" que o método usa para criar e agrupar modelos. No entanto, eu não conseguia imaginar uma aplicação de um GB que usa regressão linear e, de fato, quando realizei alguns testes - ele …

35 regression  machine-learning  boosting  ensemble  gradient 

Espero estar fazendo sentido com o título. Freqüentemente, a hipótese nula é formada com a intenção de rejeitá-la. Existe uma razão para isso, ou é apenas uma convenção?

35 hypothesis-testing 

Um dos maiores problemas com a análise de cluster é que podemos ter que tirar conclusões diferentes quando baseamos nos diferentes métodos de cluster usados ​​(incluindo diferentes métodos de ligação no cluster hierárquico). Gostaria de saber sua opinião sobre isso - qual método você selecionará e como. Pode-se dizer "o …

35 clustering  validation  model-evaluation  hierarchical-clustering 

A regularização líquida elástica é sempre preferida à Lasso & Ridge, pois parece resolver as desvantagens desses métodos? Qual é a intuição e qual é a matemática por trás da rede elástica?

35 regression  lasso  regularization  ridge-regression  elastic-net 

O LSTM foi inventado especificamente para evitar o problema do gradiente de fuga. Supõe-se que isso seja feito com o Constant Error Carousel (CEC), que no diagrama abaixo (de Greff et al. ) Corresponde ao loop em torno da célula . (fonte: deeplearning4j.org ) E eu entendo que essa parte …

35 neural-networks  lstm 

Existe um método de simulação que não seja Monte Carlo? Todos os métodos de simulação envolvem a substituição de números aleatórios na função para encontrar um intervalo de valores para a função. Então, todos os métodos de simulação são essencialmente os métodos de Monte Carlo?

35 monte-carlo 

Qual é o objetivo da função de link como um componente do modelo linear generalizado? Por que precisamos disso? A Wikipedia afirma: Pode ser conveniente corresponder o domínio da função de link ao intervalo da média da função de distribuição Qual é a vantagem de fazer isso?

35 regression  generalized-linear-model  link-function  irls 

Tenho uma pergunta relacionada à modelagem de séries temporais curtas. Não é uma questão se modelá-los , mas como. Que método você recomendaria para modelar séries temporais (muito) curtas (por exemplo, comprimento )? Por "melhor", quero dizer aqui o mais robusto, que é o menos propenso a erros devido ao …

35 time-series  forecasting  small-sample 

Eu tenho um conjunto de dados para o qual tenho vários conjuntos de rótulos binários. Para cada conjunto de rótulos, treino um classificador, avaliando-o por validação cruzada. Quero reduzir a dimensionalidade usando a análise de componentes principais (PCA). Minha pergunta é: É possível executar o PCA uma vez para todo …

35 machine-learning  classification  pca  cross-validation 

Eu nem sei se essa pergunta faz sentido, mas qual é a diferença entre regressão múltipla e correlação parcial (além das diferenças óbvias entre correlação e regressão, que não é o que eu pretendo)? Quero descobrir o seguinte: Eu tenho duas variáveis ​​independentes ( x1x1x_1 , x2x2x_2 ) e uma …

35 multiple-regression  regression-coefficients  partial-correlation 

Seria apreciado se os seguintes exemplos pudessem ser dados: Uma distribuição com média infinita e variação infinita. Uma distribuição com média infinita e variância finita. Uma distribuição com média finita e variância infinita. Uma distribuição com média finita e variância finita. Isso acontece porque eu vejo esses termos desconhecidos (média …

35 distributions  variance  mean 

Qual é a fórmula exata usada em R lm() para o quadrado R ajustado? Como eu posso interpretar isso? Fórmulas quadradas de r ajustadas Parece haver várias fórmulas para calcular o quadrado R ajustado. Wherry fórmula de: 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} Fórmula de McNemar: 1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} Fórmula do Senhor: 1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} Fórmula de Stein: 1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) …

35 r  regression  r-squared  lm  shrinkage