Estatísticas e Big Data

Então, eu li algumas postagens sobre por que o binning sempre deve ser evitado. Uma referência popular para essa afirmação é este link . A principal fuga é que os pontos de escaneamento (ou pontos de corte) são bastante arbitrários, bem como a perda de informações resultante, e esses splines …

10 classification  categorical-data  continuous-data  splines  binning 

Esta é mais uma questão de história do que uma questão técnica. Por que o `` lema de Neyman-Pearson '' é um lema e não um teorema? link to wiki: https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma NB : A questão não é sobre o que é um lema e como os lemas são usados ​​para …

10 hypothesis-testing  terminology  history  neyman-pearson-lemma 

As implementações atuais do algoritmo de projeção aleatória reduzem a dimensionalidade das amostras de dados, mapeando-as de para usando uma matriz de projeção cujas entradas são iid de uma distribuição adequada (por exemplo, de ):RdRd\mathbb R^dRkRk\mathbb R^kd× kd×kd\times kRRRN( 0 , 1 )N(0,1)\mathcal N(0,1) x′= 1k√x Rx′=1kxRx^\prime = \frac{1}{\sqrt k}xR …

10 terminology  dimensionality-reduction  linear-algebra  random-projection 

A lógica difusa parecia uma área ativa de pesquisa em aprendizado de máquina e mineração de dados quando eu estava na faculdade (início dos anos 2000). Os sistemas de inferência difusa, c-meios difusos, versões difusas das várias redes neurais e arquiteturas de máquinas de vetores de suporte estavam todos sendo …

10 fuzzy  fuzzy-c-means-clustering 

A regressão logística modela as chances de log de um evento como um conjunto de preditores. Ou seja, log (p / (1-p)) em que p é a probabilidade de algum resultado. Assim, a interpretação dos coeficientes de regressão logística bruta para alguma variável (x) deve estar na escala de chances …

10 regression  logistic  logit 

Eu tenho usado o Matlab para realizar mínimos quadrados sem restrição (mínimos quadrados comuns) e ele gera automaticamente os coeficientes, a estatística de teste e os valores de p. Minha pergunta é que, ao executar mínimos quadrados restritos (coeficientes estritamente não negativos), ele apenas gera os coeficientes, SEM estatística de …

10 regression  statistical-significance  least-squares  constrained-regression 

Tenho perguntas inspiradas no recente escândalo de recrutamento na Amazônia, onde foram acusadas de discriminação contra mulheres em seu processo de recrutamento. Mais informações aqui : Os especialistas em aprendizado de máquina da Amazon.com descobriram um grande problema: seu novo mecanismo de recrutamento não gostava de mulheres. A equipe tinha …

10 predictive-models  modeling  model 

A forma fechada de w na regressão linear pode ser escrita como W^= ( XTX)- 1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty Como podemos explicar intuitivamente o papel de nessa equação?( XTX)- 1(XTX)−1(X^TX)^{-1}

10 regression  least-squares  matrix  intuition  matrix-inverse 

Estou modelando a dispersão da planta usando uma distribuição normal generalizada ( entrada da Wikipedia ), que tem a função de densidade de probabilidade: b2aΓ(1/b)e−(da)bb2aΓ(1/b)e−(da)b \frac{b}{2a\Gamma(1/b)} e^{-(\frac{d}{a})^b} onde é a distância percorrida, é um parâmetro de escala é o parâmetro de forma. A distância média percorrida é dada pelo desvio …

10 distributions  bayesian  mcmc 

Qual é a diferença entre Bayes variacionais de codificação automática e retropropagação estocástica para modelos geradores profundos ? A inferência nos dois métodos leva aos mesmos resultados? Não conheço nenhuma comparação explícita entre os dois métodos, apesar de ambos os grupos de autores se citarem.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Suponha que você queira pescar no lago das 8h às 20h. Devido à sobrepesca, foi instituída uma lei que diz que você só pode pescar um peixe por dia. Quando você captura um peixe, pode optar por mantê-lo (e, assim, voltar para casa com esse peixe) ou jogá-lo de volta …

10 stochastic-processes  optimal-stopping 

Estou enfrentando dificuldades para provar a seguinte declaração. É dado em um trabalho de pesquisa encontrado no Google. Preciso de ajuda para provar esta afirmação! Seja X= A SX=UMASX= AS , onde UMAUMAA é matriz ortogonal e SSS é gaussiano. O comportamento isotópico do Gaussiano SSS que tem a mesma …

10 self-study  normal-distribution  orthogonal 

Eu estou tentando escrever uma função que gera ruído uniformemente distribuído que vem de uma bola p-norma de dimensões:nnn | | x | |p≤ r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} Encontrei possíveis soluções para círculos ( ) ( http://mathworld.wolfram.com/DiskPointPicking.html ), no entanto, tenho problemas para estender isso para diferentes valores de …

10 simulation  noise 

Ao ler o artigo a seguir , deparei-me com a seguinte declaração: Como mencionado, ele é frequentemente apresentado sem nenhuma referência a modelos probabilísticos, de acordo com a idéia de Benzecri [1973] de "deixar os dados falarem por si". (citação é de JP Benzécri. L'analyse des données. Tomo II: L'analyse …

10 eda  quotation 

Deixe ser uma amostra aleatória tirada a partir de população onde .( X1 1, X2, ⋯ , Xn)(X1 1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n)N( θ , θ2)N(θ,θ2)\mathcal N(\theta,\theta^2)θ ∈ Rθ∈R\theta\in\mathbb R Estou procurando o UMVUE de .θθ\theta A densidade da junta de é( X1 1, X2, ⋯ , Xn)(X1 1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n) fθ( x1 1, x2, ⋯ …

10 mathematical-statistics  normal-distribution  estimation  inference  umvue