Estatísticas e Big Data

Fiquei me perguntando por que as pessoas usam processos gaussianos (GP) para modelar uma função desconhecida (às vezes determinística). Por exemplo, considere uma função desconhecida . Temos três observações independentes dessa função: y=f(x)y=f(x)y=f(x)(x1,y1);(x2,y2);(x3,y3)(x1,y1);(x2,y2);(x3,y3)\big(x_1,y_1); \big(x_2,y_2); \big(x_3,y_3) Para aprender a função subjacente, o GP é uma técnica não paramétrica comum que trata …

8 machine-learning  correlation  covariance  gaussian-process 

Exposição e deslocamento são duas técnicas frequentemente usadas em regressões de Poisson por atuários para prever a frequência da reivindicação. Pelo meu entendimento, deslocamento e exposição são as mesmas coisas, então não entendo por que existem dois termos para descrever a mesma coisa. É correto ou existem casos especiais (exceto …

8 poisson-regression  offset 

Recentemente, vi um termo "semi-paramétrico" nas respostas da minha pergunta, mas não entendi realmente o que esse termo significa. Wikipedia diz Em estatística, um modelo semiparamétrico é um modelo estatístico que possui componentes paramétricos e não paramétricos. E fornece o modelo de riscos proporcionais de Cox como exemplo. Vejo o …

8 logistic  generalized-linear-model  nonparametric  parametric 

Contexto: estou interessado em entender como analisar dados de ensaios clínicos com controle de história natural, ou seja, um ensaio clínico em que um grupo de pessoas (digamos, pessoas com risco genético para uma doença) é recrutado, todas elas são tratadas com uma droga e sua sobrevivência (por exemplo, idade …

8 survival  clinical-trials  truncation 

Estou lendo sobre o PCA e entendo a maior parte do que está acontecendo em termos de derivação, além da suposição de que os autovetores precisam ser ortogonais e como isso se relaciona com as projeções (pontuações do PCA) não correlacionadas? Tenho duas explicações fornecidas abaixo, que usam um link …

8 mathematical-statistics  pca  eigenvalues 

Eu costumava treinar meu modelo na minha máquina local, onde a memória é suficiente apenas para 10 exemplos por lote. No entanto, quando eu migrei meu modelo para a AWS e usei uma GPU maior (Tesla K80), eu poderia acomodar um tamanho de lote de 32. No entanto, todos os …

8 machine-learning  deep-learning  computer-vision 

No artigo da rede neural totalmente convolucional , os autores mencionam tanto o treinamento inteligente quanto o treinamento totalmente convolucional. Meu entendimento para a construção do conjunto de treinamento é o seguinte: Dada uma M*Mimagem, extraia as sub-imagens com N*N, where ( N<M). As sub-imagens selecionadas são sobrepostas com outras. …

8 machine-learning  deep-learning  data-mining  conv-neural-network  computer-vision 

Eu sou novo no aprendizado profundo e estou tentando calcular a derivada da seguinte função em relação à matriz :ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Usando a regra do quociente, recebo: ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0 …

8 machine-learning  self-study  neural-networks  derivative  softmax 

Seja a estatística de ordem para uma amostra aleatória de tamanho partir de uma distribuição normal com média e variância .X(1)≤X(2)X(1)≤X(2)X_{(1)}\leq X_{(2)}222μμ\muσ2σ2\sigma ^{2} Avalie , , , e .E(X(1))E⁡(X(1))\operatorname{E}(X_{(1)})E(X(2))E⁡(X(2))\operatorname{E}(X_{(2)})Var(X(1))Var⁡(X(1))\operatorname{Var}(X_{(1)})Var(X(2))Var⁡(X(2))\operatorname{Var}(X_{(2)})Cov(X(1),X(2))Cov⁡(X(1),X(2))\operatorname{Cov}(X_{(1)},X_{(2)}) Minha tentativa: Em geral, para uma amostra aleatória de tamanho com função de distribuição e função de densidade eu sei que …

8 distributions  expected-value  order-statistics 

Suponha que eu esteja trabalhando com o seguinte modelo yi=α(1−exp(−βti))+γ(1−exp(−δti))+εiyi=α(1−exp⁡(−βti))+γ(1−exp⁡(−δti))+εiy_i = \alpha(1-\exp(-\beta t_i))+\gamma(1-\exp(-\delta t_i)) + \varepsilon_i . O é um gaussiano com média zero e estou tentando encontrar os melhores valores de ajuste de .εiεi\varepsilon_iα,β,γ,δα,β,γ,δ\alpha,\beta,\gamma,\delta Para concretização, digamos que este seja um modelo para a quantidade total de algumas espécies …

8 regression  nonlinear-regression  identifiability 

Esta pergunta é referente ao documento Deepmind sobre DDPG: https://arxiv.org/pdf/1509.02971v5.pdf . A maioria (todas?) Das implementações do algoritmo DDPG que eu vi computam a atualização do gradiente na rede do ator por ∇(J)=∇μ(s|θ)(Q(s,μ(s|θ))∇θ(μ(s|θ))∇(J)=∇μ(s|θ)(Q(s,μ(s|θ))∇θ(μ(s|θ))\nabla(J)=\nabla_{\mu(s|\theta)}(Q(s,\mu(s|\theta))\nabla_{\theta}(\mu(s|\theta)), Onde θθ\theta representa os parâmetros da rede de atores, μμ\mu representa a rede de atores, QQQ representa …

8 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Eu tenho um problema de classificação binária (aprendizado supervisionado), onde todos os meus recursos são booleanos, com o seguinte toque: Eu quero aprender um classificador que é monótono . Em outras palavras, alterar qualquer subconjunto de recursos de 0 para 1 nunca deve alterar a saída do classificador de 1 …

8 machine-learning  binary-data  supervised-learning 

A chegada de fótons a um pixel em um sensor de imagem é uma variável aleatória distribuída de Poisson, de modo que a entrada possa ser modelada como uma Poisson rv .X~ P o i s s o n ( λ )X∼Poisson(λ)X\sim \mathrm{Poisson}(\lambda) Como a entrada é Poisson, a média …

8 variance  poisson-distribution  probability-inequalities  convex 

Digamos que é uma variável aleatória com covariância . Por definição , as entradas da matriz de covariância são covariâncias: Além disso, sabe-se que as entradas da precisão satisfazem: onde o lado direito é a covariância de com condicionado em todas as outras variáveis.X∈RnX∈RnX \in \mathbb{R}^nΣ∈Rn×nΣ∈Rn×n\Sigma \in \mathbb{R}^{n\times n}Σij=Cov(Xi,Xj).Σij=Cov(Xi,Xj). \Sigma_{ij} …

8 interpretation  covariance  covariance-matrix  partial-correlation  precision 

Eu tenho uma pergunta sobre o coeficiente de inclinação do OLS comparado ao da Regressão Quantil, ao enfrentar termos de erro homoscedástico. O modelo de população pode se parecer com: yEu=β0 0+β1 1xEu+vocêEuyi=β0+β1xi+uiy_i = \beta_0 + \beta_{1}x_i + u_i com vocêEuuiu_isendo termos de erro do iid. O coeficiente de inclinação …

8 regression  least-squares  quantile-regression