Estatísticas e Big Data

Pensando em usar redes neurais recorrentes para previsão de séries temporais. Eles basicamente implementam uma espécie de auto-regressão não linear generalizada, em comparação com os modelos ARMA e ARIMA que usam a auto-regressão linear. Se estamos realizando a auto-regressão não linear, ainda é necessário que as séries temporais sejam estacionárias …

17 time-series  autoregressive  nonlinear  stationarity 

Meu entendimento do algoritmo é o seguinte: No U-Turn Sampler (NUTS) é um método Hamiltoniano de Monte Carlo. Isso significa que não é um método da cadeia de Markov e, portanto, esse algoritmo evita a parte do passeio aleatório, que geralmente é considerado ineficiente e lento para convergir. Em vez …

17 bayesian  monte-carlo  markov-process 

O PCA robusto (desenvolvido por Candes et al 2009 ou melhor ainda por Netrepalli et al 2014 ) é um método popular para detecção multivariada de outlier , mas a distância de Mahalanobis também pode ser usada para detecção de outlier, dada uma estimativa robusta e regularizada da matriz de …

17 pca  outliers  covariance-matrix  robust  anomaly-detection 

Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos coeficientes (ver quais preditores são estatisticamente …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Estou usando o Lasso para seleção de recursos em uma configuração dimensional relativamente baixa (n >> p). Depois de ajustar um modelo Lasso, quero usar as covariáveis ​​com coeficientes diferentes de zero para ajustar um modelo sem penalidade. Estou fazendo isso porque quero estimativas imparciais que Lasso não pode me …

17 regression  feature-selection  lasso  unbiased-estimator 

Estou passando pelo seguinte blog na rede neural LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ O autor reformula o vetor de entrada X como [amostras, etapas de tempo, recursos] para diferentes configurações de LSTMs. O autor escreve De fato, as seqüências de letras são etapas temporais de um recurso, em vez de um passo temporal …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estou trabalhando com muitos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Todos eles foram bem rápidos, exceto o SVM. Foi quando soube que ele precisa de redimensionamento de recursos para funcionar mais rapidamente. Então comecei a me perguntar se eu deveria fazer o …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Em primeiro lugar, desculpas por postar uma pergunta que já foi discutida extensivamente aqui , aqui , aqui , aqui , aquie para reaquecer um tópico antigo. Eu sei que o @DikranMarsupial já escreveu sobre esse tópico em posts e artigos de periódicos, mas ainda estou confuso e, a julgar …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Se eu tiver dados e executar uma classificação (digamos floresta aleatória nesses dados) com validação cruzada (digamos 5 vezes), posso concluir que não há ajuste excessivo no meu método?

17 cross-validation  overfitting 

Pergunta (s): Qual é a idéia e intuição por trás da estimativa de quase verossimilhança máxima (QMLE; também conhecida como estimativa de pseudo máxima verossimilhança, PMLE)? O que faz o estimador funcionar quando a distribuição de erro real não corresponde à distribuição de erro assumida? O site da Wikipedia para …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Como afirmado nesta pergunta, a classificação máxima da matriz de covariância é n−1n−1n-1 onde nnn é o tamanho da amostra e, portanto, se a dimensão da matriz de covariância for igual ao tamanho da amostra, seria singular. Não consigo entender por que subtraímos 111 da classificação máxima nnn da matriz …

17 covariance-matrix  linear-algebra 

Supppse XXX e YYY são padrão distribuídos uniformemente em [0,1][0,1][0, 1] e são independentes, qual é o PDF de Z=Y/XZ=Y/XZ = Y / X ? A resposta de algum livro de teoria da probabilidade é fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z …

17 probability  derived-distributions 

Depois de criar um modelo de floresta aleatória (regressão) em R, a chamada rf$importancefornece duas medidas para cada variável preditora, %IncMSEe IncNodePurity. A interpretação de que variáveis ​​preditoras com %IncMSEvalores menores são mais importantes que variáveis ​​preditoras com %IncMSEvalores maiores ? Que tal para IncNodePurity?

17 r  feature-selection  random-forest 

Na configuração padrão de máxima verossimilhança (amostra iid Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} de alguma distribuição com densidade fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) e no caso de um modelo especificado corretamente, as informações de Fisher são fornecidas por I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] onde a expectativa é tomada em relação à densidade real que gerou …

17 maximum-likelihood  fisher-information 

Ouvi dizer que, sob a hipótese nula, a distribuição do valor-p deve ser uniforme. No entanto, simulações de teste binomial no MATLAB retornam distribuições muito diferentes de uniformes com média maior que 0,5 (neste caso, 0,518): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; …

17 matlab  p-value  binomial  simulation  uniform