Estatísticas e Big Data

Estou tentando entender o trabalho interno do Hamiltoniano Monte Carlo (HMC), mas não consigo entender completamente a parte quando substituímos a integração determinística do tempo por uma proposta de Metropolis-Hasting. Estou lendo o impressionante artigo introdutório Uma Introdução Conceitual ao Hamiltoniano Monte Carlo de Michael Betancourt, por isso seguirei a …

9 mcmc  monte-carlo  hmc 

Seja em . Quais são as matrizes de média e covariância de (com o max computado elementar)?Z∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma)RdRd\mathbb R^dZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) Isso ocorre, por exemplo, porque, se usarmos a função de ativação ReLU dentro de uma rede profunda, e assumirmos através do CLT que as entradas …

9 probability  distributions  normal-distribution  moments  censoring 

Um pdf é geralmente escrito como , onde o minúsculo é tratado como uma realização ou resultado da variável aleatória que possui esse pdf. Da mesma forma, um cdf é escrito como , que tem o significado . Entretanto, em algumas circunstâncias, como a definição da função score e essa …

9 random-variable  pdf  cdf  intuition 

Uma ocorrência não tão incomum ao lidar com modelos mistos máximos complexos (estimar todos os efeitos aleatórios possíveis para dados e modelo) é perfeita (+1 ou -1) ou correlação quase perfeita entre alguns efeitos aleatórios. Para o propósito da discussão, vamos observar o seguinte modelo e resumo do modelo Model: …

9 r  correlation  mixed-model  lme4-nlme  covariance-matrix 

Suponha que estejamos fazendo um exemplo de brinquedo decente em gradiente, minimizando uma função quadrática , usando tamanho de passo fixo . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTAxxTAxx^TAxα=0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Se traçarmos o traço de xxx em cada iteração, obteremos …

9 r  machine-learning  optimization  gradient-descent 

Se eu tenho duas distribuições simétricas diferentes (com relação à mediana) e , a diferença também é uma distribuição simétrica (com relação à mediana)?XXXYYYX−YX−YX-Y

9 distributions  median 

No artigo chamado Aprendizagem Profunda e o Princípio do Gargalo de Informações, os autores declaram na seção II A) o seguinte: Neurônios únicos classificam apenas entradas linearmente separáveis, pois podem implementar apenas hiperplanos em seu espaço de entrada . Os hiperplanos podem classificar os dados de maneira ideal quando as …

9 bayesian  neural-networks  information-theory 

Se , encontre a distribuição de .X∼ C( 0 , 1 )X∼C(0,1)X\sim\mathcal C(0,1)Y= 2 X1 - X2Y=2X1−X2Y=\frac{2X}{1-X^2} TemosFY( y) = P r ( Y≤ y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) = P r ( 2 X1 - X2≤ y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) = ⎧⎩⎨⎪⎪⎪⎪⎪⎪P r ( X∈ ( - ∞ , - 1 - 1 + …

9 self-study  distributions  mathematical-statistics  random-variable 

Sejam X1,…,Xn∼U(0,1)X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) independentes e variáveis ​​aleatórias uniformes padrão distribuídas de forma idêntica. Let Yn=∑inX2iI seek: E[Yn−−√]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] A expectativa de YnYnY_n é fácil: E[X2]E[Yn]=∫10y2y√=13=E[∑inX2i]=∑inE[X2i]=n3E[X2]=∫01y2y=13E[Yn]=E[∑inXi2]=∑inE[Xi2]=n3\begin{align} \mathbb{E}\left[X^2\right] &=\int_0^1\frac{y}{2\sqrt{y}}=\frac{1}{3}\\ \mathbb{E}\left[Y_n\right] &=\mathbb{E}\left[\sum_i^nX_i^2\right] = \sum_i^n\mathbb{E}\left[X_i^2\right]=\frac{n}{3} \end{align} Agora, a parte chata. …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

Então fiz um teste de probabilidade e não consegui responder a essa pergunta. Apenas perguntou algo como isto: "Considerando que é uma variável aleatória, 0 , use a desigualdade correta para provar o que é maior ou igual, E (X ^ 2) ^ 3 ou E (X ^ 3) ^ …

9 probability  self-study  probability-inequalities 

Q1: Existem métodos comuns ou aceitos para lidar com o ambiente não estacionário na aprendizagem por reforço em geral? P2: No meu mundo da grade, a função de recompensa muda quando um estado é visitado. A cada episódio, as recompensas são redefinidas para o estado inicial. Tudo o que eu …

9 markov-process  reinforcement-learning  stationarity  q-learning 

Casella e Berger declaram a propriedade de invariância do estimador de ML da seguinte maneira: No entanto, parece-me que eles definem a "probabilidade" de ηη\eta de uma maneira completamente ad hoc e sem sentido: Se eu aplicar regras básicas da teoria das probabilidades ao caso simples em que , obtenho …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

Does implica independência de X e Y ?C o v ( f( X) , Y) = 0∀f( . )Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY Eu sou apenas familiarizado com o seguinte definição de independência entre e Y .XXXYYY fx , y( x , y) = fx( x ) …

9 random-variable  independence 

Deixe XiXEuX_i seja IID e X¯=∑ni=1XiX¯=∑Eu=1 1nXEu\bar{X} = \sum_{i=1}^{n} X_i . E[XiX¯]= ?E[XEuX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ? Parece óbvio, mas estou tendo problemas para derivá-lo formalmente.

9 probability  random-variable  expected-value 

Em 'The Elements of Statistical aprendizagem', a expressão para a decomposição de polarização-variância de-modelo linear é dada como Er r ( x0 0) = σ2ϵ+ E[ f( x0 0) - Ef^( x0 0) ]2+ | | h ( x0 0) | |2σ2ϵ,Err(x0 0)=σϵ2+E[f(x0 0)-Ef^(x0 0)]2+||h(x0 0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2, onde é a …

9 regression  linear-model  bias-variance-tradeoff