Estatísticas e Big Data

Recentemente, analisei o algoritmo XGBoost e notei que esse algoritmo pode manipular dados ausentes (sem exigir imputação) na fase de treinamento. Eu queria saber se o XGboost pode lidar com dados ausentes (sem exigir imputação) quando é usado para prever novas observações ou é necessário imputá-los. Desde já, obrigado.

11 machine-learning  missing-data  data-imputation  xgboost 

O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1, x2)e ti(x1) + …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Em todos os sistemas modernos de recomendação que eu vi que dependem da fatoração de matriz, uma fatoração de matriz não negativa é realizada na matriz de filmes do usuário. Entendo por que a não-negatividade é importante para a interpretabilidade e / ou se você deseja fatores esparsos. Mas se …

11 recommender-system  svd  matrix-decomposition  nnmf 

Eu tenho uma lista de palavras, pertencentes a diferentes categorias auto-definidas. Cada categoria tem seu próprio padrão (por exemplo, um possui um comprimento fixo com caracteres especiais, outro existe de caracteres que ocorrem apenas nessa categoria de "palavra", ...). Por exemplo: "ABC" -> type1 "ACC" -> type1 "a8 219" -> …

11 machine-learning  classification  similarities  supervised-learning 

Dada uma variável aleatória , qual é a média e a variação de ?Y=Exp(λ)Y=Exp(λ)Y = Exp(\lambda)G=1YG=1YG=\dfrac{1}{Y} Eu olho para a distribuição gama inversa, mas a média e a variação são definidas apenas para e respectivamente ...α>1α>1\alpha>1α>2α>2\alpha>2

11 variance  mean  exponential 

Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também. No entanto, para t-SNE, não sei quantas …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Suponha que seja distribuído uniformemente em . Vamos e . Mostre que a correlação entre e é zero.XXX[0,2π][0,2π][0, 2\pi]Y=sinXY=sin⁡XY = \sin XZ=cosXZ=cos⁡XZ = \cos XYYYZZZ Parece que eu precisaria saber o desvio padrão do seno e do cosseno e sua covariância. Como posso calcular isso? Eu acho que preciso assumir …

11 correlation  variance  random-variable  expected-value 

Ok, então, um pouco nebuloso em algumas coisas, qualquer ajuda seria muito apreciada. Entendo que o modelo de regressão linear é previsto através de uma expectativa condicional E( Y| X) = b + Xb + eE(Y|X)=b+Xb+eE(Y|X)=b+Xb+e Supomos que e são variáveis ​​aleatórias com alguma distribuição de probabilidade desconhecida? entendi que …

11 regression 

Para duas distribuições discretas e q , a entropia cruzada é definida comopppqqq H( p , q) = - ∑xp ( x ) logq( X ) .H(p,q)=−∑xp(x)log⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Eu me pergunto por que isso seria uma medida intuitiva de distância entre duas distribuições de probabilidade? Vejo que é a …

11 probability  distributions  cross-entropy 

Estou interessado em (Deep) Reinforcement Learning (RL) . Antes de mergulhar neste campo, devo fazer um curso em Teoria dos Jogos (GT) ? Como o GT e o RL estão relacionados?

11 deep-learning  reinforcement-learning  game-theory 

Na pág. 34 de Introdução à aprendizagem estatística : \newcommand{\Var}{{\rm Var}} Embora a prova matemática esteja além do escopo deste livro, é possível mostrar que o teste esperado MSE, para um determinado valor x0x0x_0 , sempre pode ser decomposto na soma de três quantidades fundamentais: a variação de f^(x0)f^(x0)\hat{f}(x_0) , …

11 machine-learning  variance 

Comecei a estudar estimadores de mínimos quadrados ordinários (OLS) e ainda estou no início. Já comprei alguns livros sobre econometria, mas não encontrei nada online. Então, eu queria saber se existe um site, página inicial ou outros recursos on-line que expliquem os estimadores de mínimos quadrados de uma maneira exaustiva. …

11 references  least-squares 

A ideia por trás da Rede Neural Recorrente (RNN) é clara para mim. Entendo da seguinte maneira: Temos uma sequência de observações ( ) (ou, em outras palavras, séries temporais multivariadas). Cada observação única é um vetor numérico dimensional. No modelo RNN, assumimos que a próxima observação é uma função …

11 time-series  neural-networks  predictive-models  intuition  rnn 

Divulgação completa: não sou estatístico nem pretendo ser um. Eu sou um humilde administrador de TI. Por favor, jogue gentil comigo. :) Sou responsável por coletar e prever o uso do armazenamento em disco para nossa empresa. Coletamos nosso uso de armazenamento mensalmente e usamos uma regressão linear de doze …

11 regression  forecasting  adjustment 

Estou tentando escolher um desses dois testes para analisar dados emparelhados. Alguém conhece alguma regra prática sobre qual escolher em geral?

11 hypothesis-testing  nonparametric  paired-data  wilcoxon-signed-rank  sign-test