Estatísticas e Big Data

Parte de uma série de tentativas de compreensão entre Bayesiano e frequentista: 1 2 3 4 5 6 7 Acho que entendo a diferença de como os bayesianos e os freqüentadores abordam a escolha entre hipóteses , mas não tenho muita certeza se ou como isso deve me explicar como …

9 probability  bayesian  frequentist  definition  philosophical 

Estou procurando uma resposta que satisfaça um leitor que entende valores-p freqüentistas, mas que apenas entende os rudimentos das abordagens bayesianas da estatística. Atualmente, as pesquisas no Google não revelam uma definição em uma página da Wikipedia ou em qualquer outro recurso comumente aceito. Essa pergunta parece relacionada, mas não …

9 bayesian  p-value 

É racional (teórico, substancial, estatístico) optar por modelos de aprendizado de máquina ou de risco ao modelar a rotatividade de clientes (ou mais gerais, ocorrências de eventos)?

9 machine-learning  survival  hazard  churn 

Estou com dificuldades para implementar o estimador de probabilidade máxima para um processo multivariado de Hawkes (HP). Especificamente, enquanto a expressão analítica para uma função de probabilidade de log de um HP univariado pode ser facilmente encontrada on-line (por exemplo, Ozaki, 1979), parece haver versões diferentes (inconsistentes ou equivalentes?) Da …

9 maximum-likelihood  stochastic-processes  likelihood 

Eu gostaria de usar uma Rede Neural para prever séries temporais financeiras. Sou formado em TI e tenho algum conhecimento de redes neurais e tenho lido sobre isso: TDNN RNN Eu tenho procurado por pacotes R para eles e só encontrei um para RNN, o pacote RSNNS que tem implementações …

9 time-series  forecasting  neural-networks  finance 

Entendo a prova de que Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y),Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y),Var(aX+bY) = a^2Var(X) +b^2Var(Y) + 2abCov(X,Y), mas não sei Não entendo como provar a generalização para combinações lineares arbitrárias. Seja escalares para para que tenhamos um vetor , e X _ = X i , … , X n seja um vetor de variáveis ​​aleatórias …

9 mathematical-statistics  variance 

Estou me envolvendo com os tipos de dados e preciso de ajuda: Se você olhar a figura acima (tirada daqui ), ela tem os tipos de dados como este: Quantitativo (Discreto, Contínuo) Qualitativo (Nominal (N), Ordinal (O), Binário (B)). Mas se você olhar para a próxima foto ( daqui ), …

9 categorical-data  dataset  ordinal-data  binary-data 

Estou usando regressão logística para classificação binária. Eu tenho um grande conjunto de dados (é altamente desequilibrado: 19: 1). Então, eu uso o scikit-learn LogisticRegression()para treinar 80% dos meus dados rotulados e validado com os outros 20% (observei a área sob ROC e o recall de precisão porque os dados …

9 regression  logistic  regression-coefficients 

Seja iid desenha a partir de . Como as estatísticas de pedidos mínimo e máximo são distribuídas, respectivamente? B e t a ( kx1,…,xnx1,…,xnx_1,\dots,x_nBeta(k2,k−p−12)Beta(k2,k−p−12)Beta\left(\frac{k}2,\frac{k-p-1}{2}\right) Eu apreciaria muito uma referência, se possível. Em geral, não estou familiarizado com estatísticas de ordem derivada. Edit: Dado que a distribuição beta pode ser interpretada …

9 order-statistics  beta-distribution 

Estou aprendendo sobre a teoria dos modelos lineares agora, e uma coisa que acho surpreendente é que, embora esteja definido para um vetor aleatório , não há menção de outros momentos além da matriz de covariância.E [ Y ]E[Y]\mathbb{E}[\mathbf{Y}]Y = ⎡⎣⎢⎢⎢⎢y1y2⋮yn⎤⎦⎥⎥⎥⎥Y=[y1y2⋮yn]\mathbf{Y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n\end{bmatrix} …

9 self-study  moments 

O teorema a seguir vem da 7ª edição da " Introdução à estatística matemática ", de Hogg, Craig e Mckean, e trata da condição necessária e suficiente para a independência de duas formas quadráticas de variáveis ​​normais. Este é um extrato bastante longo, mas o que eu gostaria de receber …

9 self-study  mathematical-statistics  quadratic-form 

Digamos que alguém tenha executado cadeias MCMC paralelas em que cada cadeia sofreu queimadura. Deixe as cadeias resultantes serem indicadas por que é o comprimento de cada cadeia após queimar.x ( i ) 1 , … , x ( i ) NmmmNx( I )1, … , X( I )N para …

9 mcmc  parallel-computing 

Minha pergunta é sobre o classificador de um vizinho mais próximo e é sobre uma afirmação feita no excelente livro The Elements of Statistical Learning, de Hastie, Tibshirani e Friedman. A declaração é (p. 465, seção 13.3): "Como ele usa apenas o ponto de treinamento mais próximo ao ponto de …

9 classification  k-nearest-neighbour 

No aprendizado por reforço, temos uma função de recompensa que informa ao agente o desempenho de suas ações e estados atuais. Em algumas configurações gerais, a função de recompensa é uma função de três variáveis: Estado atualSSS Ação atual no estado atualπ(s)=aπ(s)=a\pi(s) = a Próximo estadoS′S′S' Portanto, parece algo como: …

9 machine-learning  reinforcement-learning 

Estou lidando com um problema relacionado à localização do gradiente da função de perda de entropia cruzada no parâmetro que:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Onde, e é uma entrada de vetor.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i Além disso, é um vetor quente da classe correta e é a previsão para cada classe usando a …

9 machine-learning  neural-networks