Estatísticas e Big Data

Grosso modo, um valor p dá uma probabilidade do resultado observado de um experimento, dada a hipótese (modelo). Tendo essa probabilidade (valor-p), queremos julgar nossa hipótese (qual a probabilidade). Mas não seria mais natural calcular a probabilidade da hipótese, dado o resultado observado? Em mais detalhes. Nós temos uma moeda. …

43 likelihood  p-value 

Estou me ensinando sobre o aprendizado por reforço e tentando entender o conceito de recompensa com desconto. Portanto, a recompensa é necessária para dizer ao sistema quais pares de ação e estado são bons e quais são ruins. Mas o que não entendo é por que a recompensa com desconto …

43 machine-learning  reinforcement-learning 

Recentemente me deparei com essa identidade: E[E(Y|X,Z)|X]=E[Y|X]E[E(Y|X,Z)|X]=E[Y|X]E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right] Obviamente, eu estou familiarizado com a versão mais simples dessa regra, a saber, que mas não consegui encontrar justificativa para sua generalização.E[E(Y|X)]=E(Y)E[E(Y|X)]=E(Y)E \left[ E \left(Y|X \right) \right]=E \left(Y\right) Ficaria grato se alguém …

43 self-study  conditional-probability  conditional-expectation 

Quando leio "média móvel" em relação a uma série temporal, penso em algo como , ou talvez um valor média como . (Eu percebo que esses são realmente modelos AR (3), mas é para isso que meu cérebro pula.) Por que os modelos MA (q) são fórmulas de termos de …

43 time-series  arima  terminology  moving-average 

Atualmente, estou escrevendo um artigo com várias análises de regressão múltipla. Embora visualizar a regressão linear univariada seja fácil por meio de gráficos de dispersão, fiquei pensando se existe alguma maneira de visualizar várias regressões lineares? Atualmente, estou apenas plotando gráficos de dispersão, como variável dependente vs. 1ª variável independente, …

43 regression  data-visualization  multiple-regression 

Ok, essa é uma pergunta que me mantém acordada à noite. O procedimento de autoinicialização pode ser interpretado como aproximando algum procedimento bayesiano (exceto o autoinformática bayesiano)? Gosto muito da "interpretação" bayesiana das estatísticas que considero bem coerente e fácil de entender. No entanto, eu também tenho uma fraqueza pelo …

43 bayesian  bootstrap 

Minha pergunta diz respeito à tentativa de justificar um método amplamente usado, a saber, o valor esperado da Taylor Series. Suponha que temos uma variável aleatória com média positiva e variância . Além disso, temos uma função, digamos, .XXXμμ\muσ2σ2\sigma^2log(x)log⁡(x)\log(x) Fazendo a expansão Taylor de torno da média, obtemos onde, como …

43 self-study  mathematical-statistics  expected-value 

Eu sou novo na mineração de dados e estou tentando treinar uma árvore de decisão contra um conjunto de dados altamente desequilibrado. No entanto, estou tendo problemas com baixa precisão preditiva. Os dados consistem em estudantes que estudam nos cursos, e a variável da turma é o status do curso …

43 classification  cart  unbalanced-classes  accuracy 

A regularização usando métodos como Ridge, Lasso, ElasticNet é bastante comum para regressão linear. Eu queria saber o seguinte: Esses métodos são aplicáveis ​​à regressão logística? Em caso afirmativo, existem diferenças na maneira como elas precisam ser usadas para a regressão logística? Se esses métodos não são aplicáveis, como regularizar …

42 regression  logistic  regularization 

Qual é a principal diferença entre a estimativa de máxima verossimilhança (MLE) e a estimativa de mínimos quadrados (LSE)? Por que não podemos usar o MLE para prever valores de em regressão linear e vice-versa?yyy Qualquer ajuda sobre este tópico será muito apreciada.

42 regression  estimation  maximum-likelihood  least-squares 

Alguém pode explicar o que as unidades maxout em uma rede neural fazem? Como eles funcionam e como eles diferem das unidades convencionais? Tentei ler o artigo "Maxout Network" de 2013 de Goodfellow et al. (do grupo do professor Yoshua Bengio), mas não entendi direito.

42 machine-learning  neural-networks 

Quais são as razões teóricas para não lidar com valores ausentes? Máquinas de aumento de gradiente, árvores de regressão lidam com valores ausentes. Por que a Random Forest não faz isso?

42 random-forest  missing-data  gbm 

Eu uso principalmente "distribuição gaussiana" em meu livro, mas alguém sugeriu que eu mudasse para "distribuição normal". Algum consenso sobre qual termo usar para iniciantes? Obviamente, os dois termos são sinônimos , portanto não se trata de substância, mas apenas de qual termo é mais comumente usado. E é claro …

42 normal-distribution  terminology 

I ter executado através da afirmação de que cada amostra de bootstrap (ou árvore ensacado) irá conter, em média, cerca de 2/32/32/3 das observações. Eu entendo que a chance de não ser seleccionado em qualquer um dos nnn retira nnn amostras com reposição é (1−1/n)n(1−1/n)n(1- 1/n)^n , que funciona a …

42 bootstrap 

Estou confuso. Eu não entendo a diferença de um processo ARMA e GARCH .. para mim há o mesmo não? Aqui está o processo (G) ARCH (p, q) σ2t=α0+∑i=1qαir2t−iARCH+∑i=1pβiσ2t−iGARCHσt2=α0+∑i=1qαirt−i2⏟ARCH+∑i=1pβiσt−i2⏟GARCH\sigma_t^2 = \underbrace{ \underbrace{ \alpha_0 + \sum_{i=1}^q \alpha_ir_{t-i}^2} _{ARCH} + \sum_{i=1}^p\beta_i\sigma_{t-i}^2} _{GARCH} E aqui está o ARMA ( ):p,qp,qp, q Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i.Xt=c+εt+∑i=1pφiXt−i+∑i=1qθiεt−i. X_t …

42 arima  garch  finance