Estatísticas e Big Data

Suponha que eu tenha X1 1,X2,X3, . . .XnX1,X2,X3,...XnX_1,X_2,X_3,...X_n IDI variáveis ​​aleatórias de uma distribuição Poisson do parâmetro λλ\lambda. Dado queX1 1+X2+X3+ . . . +Xn= tX1+X2+X3+...+Xn=tX_1 +X_2+X_3 +...+X_n = t, qual é a probabilidade de exatamente kkk do X1 1,X2,X3, . . .XnX1,X2,X3,...XnX_1,X_2,X_3,...X_n são zero? - Minha abordagem: comecei …

7 probability  poisson-distribution  conditional-probability  sum 

Um estimador de Bayes é aquele que minimiza o risco de Bayes. Especificamente, se e somente se δΛ=argminBR(Λ,δ):=∫R(θ,δ)dΛ(θ)=∫(∫L(θ,δ(x))dx)dΛ(θ)δΛ=arg⁡minBR⁡(Λ,δ):=∫R(θ,δ)dΛ(θ)=∫(∫L(θ,δ(x))dx)dΛ(θ)\delta_{\Lambda} = \arg\min \operatorname{BR}(\Lambda,\delta) := \int R(\theta, \delta) d \Lambda(\theta) = \int \left( \int L(\theta, \delta(x))dx \right) d \Lambda(\theta) onde L(θ,δ(X))L(θ,δ(X))L(\theta, \delta(X)) é uma função de perda dada, R(θ,δ)R(θ,δ)R(\theta, \delta) é a função …

7 bayesian  loss-functions 

O algoritmo Apriori encontra algumas regras de implicação. Resultados semelhantes são fornecidos pelas redes bayesianas. Qual é a diferença essencial? Quais são as vantagens / desvantagens específicas? Edit: O Apriori Algorithm gera regras de atribuição como um tipo de implicação, como pode ser visualmente inspecionado na figura a seguir (tirada …

7 machine-learning  data-mining  bayesian-network  apriori 

Estou obtendo a probabilidade de regressão logística. Eu vi duas versões diferentes: f(y|β)=∏i=1Nniyi!(ni−yi)!πyii(1−πi)ni−yi(1)(1)f(y|β)=∏i=1Nniyi!(ni−yi)!πiyi(1−πi)ni−yi\begin{equation} f(y|\beta)={\displaystyle \prod_{i=1}^{N} \frac{n_i} {y_i!(n_i-y_i)!}} \pi_{i}^{y_i}(1-\pi_i)^{n_i - y_i} \tag 1 \end{equation} Ou isto L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi(2)(2)L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi\begin{equation} L(\beta_0,\beta_1)= \displaystyle \prod_{i=1}^{N}p(x_i)^{y_i}(1-p(x_i))^{1-y_i} \tag 2 \end{equation} Por que existe Na equação 1?niyi!(ni−yi)!niyi!(ni−yi)!\frac{n_i} {y_i!(n_i-y_i)!} Fontes: Primeiro: https://czep.net/stat/mlelr.pdf (página 3 equ. 2) Segundo: http://www.stat.cmu.edu/~cshalizi/uADA/12/lectures/ch12.pdf (página 5 …

7 logistic  maximum-likelihood  likelihood 

Estou tentando entender como as pessoas derivam a probabilidade de regressão linear simples. Digamos que temos apenas um recurso x e o resultado y. Eu não duvido que a expressão com a própria densidade normal e eu também não tenho dúvida de que se pode levar o produto para fatores …

7 regression  probability  linear-model  likelihood  linear 

Estou tendo algumas dificuldades para entender como a dualidade leva à forma comum do problema do LASSO e à condição de Karush-Kuhn-Tucker chamada de folga complementar. Eu tenho duas perguntas: Sabemos que, dado um problema de otimização minxf(x)s.t.hi(x)≤0,i=1,…,mminxf(x)s.t.hi(x)≤0,i=1,…,m \begin{align*} &\min_x f(x)\\ &s.t. \quad h_i(x) \leq 0 \, ,\quad i=1,\dots, m …

7 optimization  lasso 

Eu ficaria grato por conselhos sobre como abordar a seguinte situação: Eu tenho uma variável de contagem X e quatro variáveis ​​binárias A, B, C, D. A variável de contagem é a variável independente (refere-se ao número de experiências adversas na infância ) e os binários são variáveis ​​dependentes (eles …

7 regression  multivariate-analysis  binary-data  regression-strategies 

Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado disponível? Muito obrigado …

7 lasso  regularization  ridge-regression  glmnet  elastic-net 

Dada uma Distribuição Beta com a = 2, b = 3, podemos encontrar um valor esperado (média) para o intervalo [0, 1] = a / (a ​​+ b) = 2/5 = 0,4 e mediana = (a - 1/3) / (a ​​+ b-2/3) = 0,39, que estão próximos. Eu estou procurando …

7 python  mean  median  beta-distribution  truncation 

Deixei XXXser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade.XX\mathcal{X}XXXA∈XA∈XA\in\mathcal{X}AAA Podemos relacionar a entropia de com o tamanho do conjunto ? Intuitivamente, parece que deveríamos poder dizer …

7 entropy  information-theory 

A regressão logística, usada na classificação binária, usa a função logística como modelo para a probabilidade subjacente da variável de resultado. Possui algumas propriedades úteis e essenciais para a montagem desse modelo. Por exemplo, está aumentando monotonicamente, tende a 1 quando x tende ao infinito, tende a 0 quando x …

7 regression  logistic 

Eu quero ser capaz de gerar valores de um nnndistribuição gaussiana multivariada tridimensional truncada para [0,1][0,1][0, 1] variam com os meios dados e uma matriz de covariância, de modo que eles somam um. Eu acho que isso é o mesmo que amostragem do padrão nnn-simplex de acordo com a distribuição …

7 normal-distribution  simulation  multivariate-normal 

Sou autodidata sobre probabilidade usando R, modelos lineares e cálculos de probabilidade. Atualmente, estou preso em como comparar duas previsões de um modelo. Os dados que estou usando são baixados (grátis) a partir daqui: wmbriggs.com/public/sat.csv df <- read.csv("sat.csv") # Load data lm <- lm(cgpa~hgpa+sat+ltrs,data=df) # model to predict College GPA …

7 r  regression  predictive-models  interpretation 

Eu tenho um pequeno conjunto de dados que mostra que o número de pacientes jovens em um registro de doença está aumentando ao longo do tempo. Eu suspeito que isso seja apenas porque o registro se tornou mais bem-sucedido ao longo do tempo e agora captura uma proporção maior de …

7 time-series  data-visualization 

Estou procurando um curso de aprendizado de máquina que dê a matemática por trás dos algoritmos, em vez de simplesmente ensinar como aplicá-los. Analisei o curso Udacity Into to Machine Learning e o curso de Andrew Ng sobre Coursera, e ambos parecem muito aplicados a mim. Qualquer recomendação de livros …

7 machine-learning  references